今天六一，C小加不在身邊，混球啊。任務(wù)需要在看曼寧的《統(tǒng)計自然語言處理基礎(chǔ)》。然后用到互信息，每次我覺得好高深的名字，做下去的時候就發(fā)現(xiàn)沒有那么難。
搭配
搭配由有限的復(fù)合構(gòu)詞法所描述。
識別搭配對的方法有三種：1.使用頻率信息的搭配識別。2.基于含義和主詞搭配詞之間的距離識別。3.基于假設(shè)測試和互信息的識別。
1.頻率
將語料過濾后得到的動詞，名詞，之間進(jìn)行兩兩配對，統(tǒng)計每個詞語在一個句子，或在一個段落中出現(xiàn)的次數(shù)，即為頻率。
2.均值和方差
由于兩個詞之間的距離是可以變化的，計算兩個詞之間的偏移量的均值和方差。
均值就是簡單的平均偏移量。
方差衡量的是單獨的偏移量偏離均值的距離：
是同現(xiàn)i的偏移量，
表示的是樣本偏移量的均值。
我們可以通過使用這個信息來發(fā)現(xiàn)搭配。具體的方法是通過尋找?guī)в械推畹脑~對。一個低的偏差值意味著這兩個詞通常大致相同距離出現(xiàn)。零偏差意味著這兩個詞總是以相同的距離出現(xiàn)。
方差是關(guān)于一個相對于其他詞分布峰值情況的度量。
關(guān)于互信息
互信息的計算公式是這樣的：
MI(a,b) = log( p(ab) / (p(a)*p(b)) )
其中log的底數(shù)是2，p(x)表示x出現(xiàn)的概率。
好吧，好水，好簡單。。著手寫代碼了。