用MeCab打造一套實(shí)用的中文分詞系統(tǒng)
來源:易賢網(wǎng) 閱讀:1126 次 日期:2015-04-03 11:22:15
溫馨提示:易賢網(wǎng)小編為您整理了“用MeCab打造一套實(shí)用的中文分詞系統(tǒng)”,方便廣大網(wǎng)友查閱!

雖然是愚人節(jié),但是這個(gè)不是愚人節(jié)玩笑,最近花了一些時(shí)間在MeCab身上,越發(fā)喜歡這個(gè)來自島國的開源分詞系統(tǒng),今天花了一些時(shí)間訓(xùn)練了一個(gè)更適用的模型和詞典,打包提供給大家使用,因?yàn)閿?shù)據(jù)和詞典涉及到一些版權(quán)問題,所以打包文件里只是mecab用于發(fā)布的二進(jìn)制詞典和模型文件,目前在mac os和linux ubuntu系統(tǒng)下測試無誤,其他系統(tǒng)請自行測試使用:

鏈接: 密碼: 8udf

了解和安裝mecab請參考:

日文分詞器 Mecab 文檔

用MeCab打造一套實(shí)用的中文分詞系統(tǒng)

使用前請按上述文檔安裝mecab,下載這個(gè)中文分詞模型和詞典之后解壓,解壓后得到一個(gè)mecab-chinese-data目錄,執(zhí)行:

mecab -d mecab-chinese-data

揚(yáng)帆遠(yuǎn)東做與中國合作的先行

揚(yáng)帆v,*,*,*,*,*,揚(yáng)帆,*,*

遠(yuǎn)東ns,*,*,*,*,*,遠(yuǎn)東,*,*

做v,*,*,*,*,*,做,*,*

與p,*,*,*,*,*,與,*,*

中國ns,*,*,*,*,*,中國,*,*

合作v,*,*,*,*,*,合作,*,*

的u,*,*,*,*,*,的,*,*

先行vn,*,*,*,*,*,先行,*,*

EOS

上述第二列提供了詞性標(biāo)注結(jié)果。

如果想得到單行的分詞結(jié)果,可以這樣執(zhí)行:

mecab -d ./mecab-chinese-data/ -O wakati

揚(yáng)帆遠(yuǎn)東做與中國合作的先行

揚(yáng)帆 遠(yuǎn)東 做 與 中國 合作 的 先行

如果想直接對文件分詞,可以這樣執(zhí)行:

mecab -d ./mecab-chinese-data/ INPUT -o OUTPUT

具體可以參考上述兩個(gè)文檔,另外我在mac下測試了一下中文維基百科語料的切分速度,大概700多M的語料,不到90秒切分完畢,大概7M/s的切分速度完全達(dá)到了工業(yè)屆的使用標(biāo)準(zhǔn)。另外Mecab還支持Nbest輸出,多種輸出格式,全切分模式,系統(tǒng)詞典和用戶詞典定制等等,同時(shí)通過SWIG提供了perl, ruby, python, java的調(diào)用接口,非常方便。

以下是在backoff2005 人民日報(bào)語料庫上的測試結(jié)果:

=== SUMMARY:

=== TOTAL INSERTIONS:3803

=== TOTAL DELETIONS:1981

=== TOTAL SUBSTITUTIONS:5004

=== TOTAL NCHANGE:10788

=== TOTAL TRUE WORD COUNT:104372

=== TOTAL TEST WORD COUNT:106194

=== TOTAL TRUE WORDS RECALL:0.933

=== TOTAL TEST WORDS PRECISION:0.917

=== F MEASURE:0.925

=== OOV Rate:0.058

=== OOV Recall Rate:0.482

=== IV Recall Rate:0.961

###pku_test.result380319815004107881043721061940.9330.9170.9250.0580.4820.961

召回率93.3%,準(zhǔn)確率91.7%, F值為92.5%, 雖然還沒有一個(gè)單純針對這個(gè)測試語料比賽的分詞結(jié)果好,但是測試了一些其他語料后覺得這個(gè)版本完全可以作為一個(gè)基準(zhǔn)版本使用,另外mecab也提供了用戶定制詞典接口,方便用戶按自己的需求定制使用。

更多信息請查看IT技術(shù)專欄

更多信息請查看技術(shù)文章
易賢網(wǎng)手機(jī)網(wǎng)站地址:用MeCab打造一套實(shí)用的中文分詞系統(tǒng)
由于各方面情況的不斷調(diào)整與變化,易賢網(wǎng)提供的所有考試信息和咨詢回復(fù)僅供參考,敬請考生以權(quán)威部門公布的正式信息和咨詢?yōu)闇?zhǔn)!

2025國考·省考課程試聽報(bào)名

  • 報(bào)班類型
  • 姓名
  • 手機(jī)號
  • 驗(yàn)證碼
關(guān)于我們 | 聯(lián)系我們 | 人才招聘 | 網(wǎng)站聲明 | 網(wǎng)站幫助 | 非正式的簡要咨詢 | 簡要咨詢須知 | 加入群交流 | 手機(jī)站點(diǎn) | 投訴建議
工業(yè)和信息化部備案號:滇ICP備2023014141號-1 云南省教育廳備案號:云教ICP備0901021 滇公網(wǎng)安備53010202001879號 人力資源服務(wù)許可證:(云)人服證字(2023)第0102001523號
云南網(wǎng)警備案專用圖標(biāo)
聯(lián)系電話:0871-65099533/13759567129 獲取招聘考試信息及咨詢關(guān)注公眾號:hfpxwx
咨詢QQ:526150442(9:00—18:00)版權(quán)所有:易賢網(wǎng)
云南網(wǎng)警報(bào)警專用圖標(biāo)