閱讀 :446

答案 1：

@張磊提到的mmseg是我自己最喜歡的分詞方法，簡單、高效、實用、效果還不錯。tec-nology.c-tsai.org/mmseg/我給它起了個名字，叫做“3段回溯式方法”，即每次從一個完整的句子里，按照從左向右的順序，識別出多種不同的3個詞的組合；然后根據下面的4條消歧規則，確定最佳的備選詞組合；選擇備選詞組合中的第1個詞，作為1次迭代的分詞結果；剩余的2個詞繼續進行下一輪的分詞運算。采用這種辦法的好處是，為傳統的前向最大匹配算法加入了上下文信息，解決了其每次選詞只考慮詞本身，而忽視上下文相關詞的問題。4條消歧規則包括，1）備選詞組合的長度之和最大。2）備選詞組合的平均詞長最大；3）備選詞組合的詞長變化最小；4）備選詞組合中，單字詞的出現頻率統計值最高。

CRF方法是目前公認的效果最好的分詞算法。但，具體效果是否好，也依賴于你使用的訓練模型。nlp.stanford.edu/software...

我認識一個做搜索解決方案的朋友，他們公司提供了CRF和mmseg的開源實現coreseek.cn/opensour...

其實還可以使用專業公司的解決方案，比如海量和中科院分詞的收費版本，也花不了多少錢。集中精力找到你自己產品獨特的價值所在。

下一篇:請問B2B、B2C、C2C各種電子商務網站的異同點以及它們面向的客戶都有哪些？ 下一篇 【方向鍵 ( → )下一篇】

上一篇:很多公司的中高層管理者都不喜歡能夠說真話的人？ 上一篇 【方向鍵 ( ← )上一篇】