|
當(dāng)然， 本文不是要對中文搜索引擎做研究， 而是分享如果用 PHP 做一個站內(nèi)搜索引擎。 本文是這個系統(tǒng)中的一篇。 我使用的分詞工具是中科院計(jì)算所的開源版本的 ICTCLAS。 另外還有開源的 Bamboo， 我隨后也會對該工具進(jìn)行調(diào)研。 從 ICTCLAS 出發(fā)是個不錯的選擇， 因?yàn)槠渌惴▊鞑ケ容^廣泛， 有公開的學(xué)術(shù)文檔， 并且編譯簡單， 庫依賴少。 但目前只提供了 C/C ， Java 和 C# 版本的代碼， 并沒有 PHP 版本的代碼。 怎么辦呢? 也許可以學(xué)習(xí)它的 C/C 源碼和學(xué)術(shù)文檔中， 然后再開發(fā)一個 PHP 版本出來。 不過， 我要使用進(jìn)程間通信， 在 PHP 代碼里調(diào)用 C/C 版本的可執(zhí)行文件。 下載源碼解壓后， 在有 C 開發(fā)庫和編譯環(huán)境的機(jī)器上直接 make ictclas 即可。 它的 Makefile 腳本有個錯誤， 執(zhí)行測試的代碼沒有加上'。/'， 當(dāng)然不能像 Windows 下執(zhí)行成功了。 但也不影響編譯結(jié)果。 進(jìn)行中文分詞的 PHP 類就在下面了， 用 proc_open() 函數(shù)來執(zhí)行分詞程序， 并通過管道和其交互， 輸入要進(jìn)行分詞的文本， 讀取分詞結(jié)果。 <?php class NLP{ private static $cmd_path; // 不以'/'結(jié)尾 static function set_cmd_path($path){ self::$cmd_path = $path; } private function cmd($str){ $descriptorspec = array( 0 => array('pipe', 'r'), 1 => array('pipe', 'w'), ); $cmd = self::$cmd_path . '/ictclas'; $process = proc_open($cmd, $descriptorspec, $pipes); if (is_resource($process)) { $str = iconv('utf-8', 'gbk', $str); fwrite($pipes[0], $str); $output = stream_get_contents($pipes[1]); fclose($pipes[0]); fclose($pipes[1]); $return_value = proc_close($process); } /* $cmd = 'printf '$input' | ' . self::$cmd_path . '/ictclas'; exec($cmd, $output, $ret); $output = join('\n', $output); */ $output = trim($output); $output = iconv('gbk', 'utf-8', $output); return $output; } /** * 進(jìn)行分詞, 返回詞語列表. */ function tokenize($str){ $tokens = array(); $output = self::cmd($input); if($output){ $ps = preg_split('/\s /', $output); foreach($ps as $p){ list($seg, $tag) = explode('/', $p); $item = array( 'seg' => $seg, 'tag' => $tag, ); $tokens[] = $item; } } return $tokens; } } NLP::set_cmd_path(dirname(__FILE__)); ?> 使用起來很簡單(確保 ICTCLAS 編譯后的可執(zhí)行文件和詞典在當(dāng)前目錄)： <?php require_once('NLP.php'); var_dump(NLP::tokenize('Hello, World!')); ?> |
|
|
