用于檢測敏感詞的 PHP 擴展

netwenk

敏感詞過濾是我朝程序員必須具備的一種特殊技能，隨著敏感詞越來越多，是時候寫個擴展來快速的進行敏感詞檢測了
使用說明

1. 安裝 libdatrie
tar zxf libdatrie-0.2.4.tar.gz
cd libdatrie-0.2.4
./configure --prefix=/usr/local
make
make install

2. 安裝 trie_filter 擴展
tar zxf trie_filter-1.0.0.tar.gz
cd trie_filter-1.0.0
/usr/local/php/bin/phpize

./configure  --with-php-config=/usr/local/php/bin/php-config
make
make install
記得修改你的 php.ini 文件，啟用 trie_filter 擴展。extension=trie_filter.so

 

3. 生成詞典預處理工具（dpp.c 在 trie_filter-1.0.0 里面）
gcc -o dpp dpp.c -ldatrie

4. 生成敏感詞詞典
首先你需要把需要檢測的敏感詞寫入到一個文本文件中（如：minganci.txt），每行一個敏感詞，然后使用上一步生成的 dpp 程序處理這個文本文件來生成詞典
./dpp txt_file_path dict_file_path     

 (例：./dpp  /home/like/software/minganci.txt  minganci.dic

出現(xiàn)如下錯誤：

./dpp: error while loading shared libraries: libdatrie.so.1: cannot open shared object file: No such file or directory

解決方法：

#vi /etc/ld.so.conf  在里面加入：/usr/local/lib
然后運行：#/sbin/ldconfig，即解決

最后再：./dpp  /home/like/software/minganci.txt  minganci  )

 

5. 使用擴展
擴展接口很簡單，只有兩個函數(shù)：
1) trie_filter_load($path_to_dict)
用來載入詞典，成功返回一個 Trie_Filter 資源句柄，失敗返回 NULL
2) trie_filter_search($trie, $text)
用來檢測一段文本中是否含有詞典中定義的敏感詞，$trie 是上一個函數(shù)返回的 Trie Filter 句柄，$text 是欲檢測的文本
如果檢測到敏感詞則返回一個數(shù)組，數(shù)組第一個元素指出檢測到的敏感詞在 $text 中的偏移量，第二個元素指出該敏感詞的長度(bytes)
如果沒有檢測到敏感詞，則返回一個空數(shù)組

擴展的速度怎么樣

一個字，很快！擴展的檢測算法基于 Double Array Trie Tree，查找單一關鍵字的時間復雜度為 O(1)，查找整段文本的時間復雜度為 O(n)，n 為文本的長度，而且檢測的速度不會因為敏感詞的增加而降低。

注意事項

1. 擴展把詞典和要檢測的文本都當做平凡的字節(jié)流處理，因此可以無視字符集的問題。但需要注意的是詞典的編碼需要和檢測文本的編碼一致（我曾經(jīng)犯過這樣的錯誤：詞典編碼和文本編碼不一樣，生成的詞典用不了），例如詞典為 UTF-8 編碼而你需要檢測的文本為 GBK 編碼，這就要求你在調用 trie_filter_search() 函數(shù)之前通過 iconv 或者 mb_xxx 函數(shù)轉換一下編碼
2. 目前只在 linux + php-5.2 環(huán)境下測試通過，不支持 windows，也沒有支持的計劃

trie_filter-1.0.0.tar

libdatrie-0.2.4.tar