使用的就是mitchell的那本ML中關(guān)于naive bayesian classifier講解用到的數(shù)據(jù)。20個(gè)郵件組的郵件，共約20000條記錄。

主要是實(shí)踐了下naive bayesian classifier。做了兩個(gè)集合的實(shí)驗(yàn)，包括全集和書中實(shí)踐的小集合（3個(gè)特定的郵件組集合）。
全集上最后的準(zhǔn)確率可以達(dá)到83.7%。而使用小集合對(duì)比書中的（89%-90.5%），可以達(dá)到91.3%的準(zhǔn)確率。

其中有一些需要注意的：
1. 對(duì)低頻概率的光滑操作很重要。主要用于計(jì)算P(w|g)時(shí)在w頻次很低的情況下。
   如果沒(méi)有光滑，答案整個(gè)就被誤差毀了，直接準(zhǔn)確率掉到20%以下。
   如果使用P(w|g)=(C(g,w)+1)/(C(g,all_w)+C(words_in_g))可以保證結(jié)果達(dá)到預(yù)期水平
   如果使用P(w|g)=(C(g,w)+1)/(C(g,all_w)+C(words))結(jié)果還更好些。這似乎和預(yù)期不是很符合。
2. 對(duì)stopword的選取。
   使用idf作為選擇標(biāo)準(zhǔn)（不取log）。剛開(kāi)始選定的覆蓋文章范圍在0.6才去除。后來(lái)發(fā)現(xiàn)一直到1/12都能保證單調(diào)遞增。效果不錯(cuò)。
3. 既然bayesian是逆概，還嘗試了正向概率計(jì)算求答案，也是使之相互獨(dú)立。準(zhǔn)確率在75%左右。懷疑是模型本身并不是reasonable的。（就是比naive bayesian還不靠譜）

從誤分類的數(shù)據(jù)來(lái)看，有些確實(shí)是無(wú)法很好分類。同時(shí)后續(xù)改進(jìn)還有這么一些方法：
1. 低頻詞的影響。
2. 調(diào)整模型，使之更好去識(shí)別。這在看論文。看看是否可行。

同時(shí)今天還看了一篇介紹bayesian的一些應(yīng)用之處的文章。講的很廣泛，把很多知識(shí)都串一起了。很好！