十年網(wǎng)站開發(fā)經(jīng)驗 + 多家企業(yè)客戶 + 靠譜的建站團隊
量身定制 + 運營維護+專業(yè)推廣+無憂售后,網(wǎng)站問題一站解決
小編給大家分享一下如何向pyhanlp添加自定義的詞典,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
以python 2.7.9為例:
1.安裝pyhanlp:pip install pyhanlp
2.在字典路徑下添加自定義的詞典:CustomDictionary主詞典文本路徑是data/dictionary/custom/CustomDictionary.txt,用戶可以在此增加自己的詞語(不推薦);也可以單獨新建一個文本文件,通過配置文件;CustomDictionaryPath=data/dictionary/custom/CustomDictionary.txt; 我的詞典.txt;來追加詞典(推薦)。
具體絕對路徑可用hanlp --version獲取:
#hanlp --version
jar 1.6.3: /usr/local/lib/python2.7/site-packages/pyhanlp/static/hanlp-1.6.3.jar
data 1.6.2: /usr/local/lib/python2.7/site-packages/pyhanlp/static/data
config : /usr/local/lib/python2.7/site-packages/pyhanlp/static/hanlp.properties
#cat /usr/local/lib/python2.7/site-packages/pyhanlp/static/hanlp.properties | grep "CustomDictionaryPath"
3.建議在該路徑下添加自己的詞典文件例如 我的詞典.txt,并將其加入上面的properties文件里的CustomDictionaryPath下面。
#cat 我的詞典.txt
codis集群 nz 1000
今日頭條 nz 1000
第一列為詞條,第二列為詞性(默認為n),第三列為詞頻
4.然后需要刪除緩存文件,這樣python才會重新加載新增的文件:
#rm -f CustomDictionary.txt.bin
5.測試新增的詞典:
python -c "from pyhanlp import *;print(HanLP.segment('codis集群,今日頭條'))"
五月 16, 2018 4:43:14 下午 com.hankcs.hanlp.corpus.io.IOUtil readBytes
警告: 讀取/usr/local/lib/python2.7/site-packages/pyhanlp/static/data/dictionary/custom/CustomDictionary.txt.bin時發(fā)生異常java.io.FileNotFoundException: /usr/local/lib/python2.7/site-packages/pyhanlp/static/data/dictionary/custom/CustomDictionary.txt.bin (沒有那個文件或目錄)
報這個錯誤沒有關(guān)系,只是個warning,重新加載緩存文件而已。
以上是“如何向pyhanlp添加自定義的詞典”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道!