中文分詞看似簡單，但其實不是一個小課題，我想在中文分詞上研究的絕不是一個兩個人就可以搞定的事情，不過因時置地的開發(fā)適合自己用的分詞也是不錯的打算。不過能夠借用別人的研究結(jié)果而最大化的達到效果則也是一種辦法。
如果非要投入到中文分詞的研究中,就不能單純的在分詞中分詞.如很多時候我們自己讀一篇難以歧義的句子,都是通過上下文來判斷的,估計那個時候的分詞則是人工智能的領(lǐng)域.
下面全面介紹下其中文分類的細節(jié)
1. 如何進行分詞？
最容易想到的辦法是，用一個大詞典，把所有的詞都存入詞典中，掃描輸入的文本，查找所有可能的詞，然后看哪個詞可以做為輸出。例如：
輸入文本: 我是學生
詞: 我/是/學生
其實這樣做了以后，可以解決60%的問題。總結(jié)起來，分詞的算法分為：
1. 基于字符串匹配的分詞方法
2. 基于理解的分詞方法
3. 基于統(tǒng)計的分詞方法
關(guān)于這3種算法的詳細介紹，可以查看中文分詞技術(shù).
2.分詞的問題
1.通用詞表和切分規(guī)范
信息處理中分詞單位的定義比傳統(tǒng)意義上的詞更寬泛些。分詞系統(tǒng)可以面向解決實際問題的需求和真實語料中使用的頻繁程度來規(guī)定“分詞單位”。而傳統(tǒng)詞語是可能不包含所有的詞語的，例如，一些人名、地名、機構(gòu)名、外國人譯名，應予以識別和切分。一些動詞和形容詞重疊結(jié)構(gòu)，如“高高大大”、“甜甜蜜蜜”等；一些附加詞，如后綴，“親和性”、“熱敏性”等；都可以作為分詞單位予以識別和切分。故對于一個分詞系統(tǒng)而言，制定一個一致性的分詞單位切分規(guī)范是需要考慮的．
2.歧義切分字段
文本中歧義切分字段的判別。漢語中歧義切分字段最基本有兩種類型：
交集型歧義字段，如：“中國/人”，“中/國人”兩種切分結(jié)果。 組合型歧義。如：“有/才能/”。“他/才/能/告訴/你”
3.未登錄詞識別(新詞)
語言的發(fā)展和變化，以及詞的衍生現(xiàn)象非常普遍，不可能都收入辭典中。特別是人名、地名等專有名詞，在文本中有非常高的使用頻度和比例。
3.中文分詞解決方法
a.處理新詞。
如：2003年之前，沒有人知道"非典
"。"非典"剛出現(xiàn)的時候，這就是新詞。還有"超女",
"三個代表"，"芙蓉姐姐"。識別新詞的能力是評估一個分詞系統(tǒng)的重要指標。在國際上每年進行的分詞大賽中，識別新詞的比賽也單獨提出。2006年
SIGHAN的分詞大賽中，就增添了對于機構(gòu)名識別的比賽。
識別新詞是最近幾年分詞技術(shù)研究的重點。總結(jié)起來，無非分成兩種：
1. 基于規(guī)則的方法。
2. 基于統(tǒng)計、機器學習。
拿人名識別為例。你不可能把所有的人名都放入詞典中，這決定了人名注定會是新詞。從人名構(gòu)造來說，很有規(guī)律：姓＋名。張王劉李陳、天下一半人。也就是說可
能有一半的人，是這五個姓。名也有一定規(guī)律：建華/建國/志強.....等有許多經(jīng)常用于名字中的漢字；對于地名識別也可以找出很多規(guī)則，省/縣/村/鎮(zhèn)
/灣/河等，都是很常用的后綴，如果他們出現(xiàn)，之前出現(xiàn)地名的可能性比較大。如果把這些規(guī)律轉(zhuǎn)化成計算機能識別的算法，就是基于規(guī)則的算法。這種基于規(guī)則
的算法簡單有效，而且發(fā)現(xiàn)規(guī)則可很方便加入。
規(guī)則總會有例外，規(guī)則過多以后，如何去權(quán)衡這些規(guī)則，會是十分頭疼的問題。人們試著告訴計算機目標，讓計算機自己去嘗試各種方法組合這些規(guī)則并得到最優(yōu)參
數(shù)，這就機器學習。隨著Machine
Learning(機器學習)技術(shù)的不斷進步，其應用范圍也越來越廣，中文分詞算法也從中受益。ANN(人工神經(jīng)網(wǎng)絡), 最大熵模型,
HMM(隱馬爾可夫模型)等算法都在新詞識別中有應用。
通過機器學習識別新詞的原理并不復雜。一般都是先定義一些特征，然后利用訓練語料進行學習，建立模
型。還是以人名識別為例，可以定義姓名前面的字、姓、名、姓名后面的字做為特征，通過利用標注好姓名的語料庫進行學習訓練。
機器學習識別新詞的好處在于自動尋找一些識別新詞的特征，其準確度和召回率都能達到比較高的水平。但機器學習算法需要有足夠多的訓練語料，人工準備準確的
大規(guī)模的訓練語料也會十分困難。另外，機器學習算法一般速度會比較慢，優(yōu)化速度，使之用于海量數(shù)據(jù)處理，也是使用機器學習的一個關(guān)鍵點。
4.目前分詞廣泛的方法
1.基于詞表的分詞-最大匹配（MM）
這是一種有著廣泛應用的機械分詞方法，該方法依據(jù)一個分詞詞表和一個基本的切分評估原則，即“長詞優(yōu)先”原則，來進行分詞。這種評估原則雖然在大多數(shù)情況下是合理的，但也會引發(fā)一些切分錯誤。根據(jù)我們小規(guī)模測試的結(jié)果，其正確率為95.422%，速度為65,000字/分鐘。
這種切分方法，需要最少的語言資源（僅需一個詞表，不需要任何詞法、句法、語義知識），程序?qū)崿F(xiàn)簡單，開發(fā)周期短，是一個簡單實用的方法。
2.基于統(tǒng)計的分詞
這種方法首先切分出與詞表匹配的所有可能的詞，這種切分方法稱為“全切分”，運用統(tǒng)計語言模型和決策算法決定最優(yōu)的切分結(jié)果。
這種方法的優(yōu)點是可以發(fā)現(xiàn)所有的切分歧義，但是解決歧義的方法很大程度上取決于統(tǒng)計語言模型的精度和決策算法。需要大量的標注語料，并且分詞速度也因搜索空間的增大而有所緩慢。根據(jù)我們小規(guī)模測試的結(jié)果，其正確率為96.252%。分詞速度為：40,000字/分鐘。
3.基于規(guī)則和基于統(tǒng)計相結(jié)合
這種方法首先運用最大匹配作為一種初步切分，再對切分的邊界處進行歧義探測，發(fā)現(xiàn)歧義。再運用統(tǒng)計和規(guī)則結(jié)合的方法來判別正確的切分，運用不同的規(guī)則解決人名、地名、機構(gòu)名識別，運用詞法結(jié)構(gòu)規(guī)則來生成復合詞和衍生詞。
這段話來自微軟開發(fā)分詞的一段.