貝葉斯統(tǒng)計(jì)與頻率統(tǒng)計(jì)
先驗(yàn)分布 它是總體分布參數(shù)θ的一個(gè)概率分布。貝葉斯學(xué)派的根本觀點(diǎn)，是認(rèn)為在關(guān)于θ的任何統(tǒng)計(jì)推斷問題中,除了使用樣本X所提供的信息外，還必須對θ規(guī)定一個(gè)先驗(yàn)分布，它是在進(jìn)行推斷時(shí)不可或缺的一個(gè)要素。貝葉斯學(xué)派把先驗(yàn)分布解釋為在抽樣前就有的關(guān)于θ的先驗(yàn)信息的概率表述，先驗(yàn)分布不必有客觀的依據(jù)，它可以部分地或完全地基于主觀信念。例如，某甲懷疑自己患有一種疾病A,在就診時(shí)醫(yī)生對他測了諸如體溫、血壓等指標(biāo),其結(jié)果構(gòu)成樣本X。引進(jìn)參數(shù)θ：有病時(shí),θ=1;無病時(shí),θ=0。X的分布取決于θ是0還是1,因而知道了X有助于推斷θ是否為1。按傳統(tǒng)（頻率）學(xué)派的觀點(diǎn),醫(yī)生診斷時(shí),只使用X提供的信息;而按貝葉斯學(xué)派觀點(diǎn),則認(rèn)為只有在規(guī)定了一個(gè)介于0與1之間的數(shù)p作為事件｛θ=1｝的先驗(yàn)概率時(shí)，才能對甲是否有病（即θ是否為1）進(jìn)行推斷。p這個(gè)數(shù)刻畫了本問題的先驗(yàn)分布,且可解釋為疾病A的發(fā)病率。先驗(yàn)分布的規(guī)定對推斷結(jié)果有影響，如在此例中，若疾病A的發(fā)病率很小,醫(yī)生將傾向于只有在樣本X顯示出很強(qiáng)的證據(jù)時(shí),才診斷甲有病。在這里先驗(yàn)分布的使用看來是合理的，但貝葉斯學(xué)派并不是基于 “p是發(fā)病率”這樣一個(gè)解釋而使用它的，事實(shí)上即使對本病的發(fā)病率毫無所知，也必須規(guī)定這樣一個(gè)p，否則問題就無法求解。
后驗(yàn)分布 根據(jù)樣本 X 的分布Pθ及θ的先驗(yàn)分布π(θ)，用概率論中求條件概率分布的方法,可算出在已知X=x的條件下,θ的條件分布 π(θ|x)。因?yàn)檫@個(gè)分布是在抽樣以后才得到的，故稱為后驗(yàn)分布。貝葉斯學(xué)派認(rèn)為:這個(gè)分布綜合了樣本X及先驗(yàn)分布π(θ)所提供的有關(guān)的信息。抽樣的全部目的，就在于完成由先驗(yàn)分布到后驗(yàn)分布的轉(zhuǎn)換。如上例,設(shè)p=P(θ=1)=0.001,而π(θ=1|x)=0.86,則貝葉斯學(xué)派解釋為：在某甲的指標(biāo)量出之前,他患病的可能性定為0.001，而在得到X后,認(rèn)識發(fā)生了變化：其患病的可能性提高為0.86，這一點(diǎn)的實(shí)現(xiàn)既與X有關(guān)，也離不開先驗(yàn)分布。
先驗(yàn)概率 由以往的數(shù)據(jù)分析得到的概率
后驗(yàn)概率 得到信息之后，再重新加以修正的概率
貝葉斯定理 這個(gè)是廣為人知的常識
所以，Bayes` theorem was used to convert a prior probability into a posterior probability!
我們給出一個(gè)似然(likelihood）的定義，我們可以把貝葉斯定理用下面的word來闡釋：
posterior 正比于 likehood * prior
上述有所的這些值都可以看成是先驗(yàn)概率的函數(shù)！ P(D)僅僅是一個(gè)歸一化的常量！
將貝葉斯公式兩邊積分得到：(先驗(yàn)概率的表示不同，上面寫成了H,現(xiàn)在寫成了w)
上面有這個(gè)式子的離散化表述！
我們平時(shí)所說的最大似然估計(jì)，就是最大化我們的似然函數(shù) p(D|w) （P(D|H)）
那么頻率統(tǒng)計(jì)和貝葉斯統(tǒng)計(jì)的區(qū)別在哪里？ 先驗(yàn)分布問題！
關(guān)于貝葉斯方法的爭論 貝葉斯學(xué)派與頻率學(xué)派爭論的焦點(diǎn)在于先驗(yàn)分布的問題。所謂頻率學(xué)派是指堅(jiān)持概率的頻率解釋的統(tǒng)計(jì)學(xué)家形成的學(xué)派。貝葉斯學(xué)派認(rèn)為先驗(yàn)分布可以是主觀的，它沒有也不需要有頻率解釋。而頻率學(xué)派則認(rèn)為，只有在先驗(yàn)分布有一種不依賴主觀的意義，且能根據(jù)適當(dāng)?shù)睦碚摶蛞酝慕?jīng)驗(yàn)決定時(shí)，才允許在統(tǒng)計(jì)推斷中使用先驗(yàn)分布，否則就會(huì)喪失客觀性。另一個(gè)批評是：貝葉斯方法對任何統(tǒng)計(jì)問題都給以一種程式化的解法，這導(dǎo)致人們對問題不去作深入分析，而只是機(jī)械地套用公式。貝葉斯學(xué)派則認(rèn)為：從理論上說，可以在一定條件下證明，任何合理的優(yōu)良性準(zhǔn)則必然是相應(yīng)于一定先驗(yàn)分布的貝葉斯準(zhǔn)則，因此每個(gè)統(tǒng)計(jì)學(xué)家自覺或不自覺地都是“貝葉斯主義者”。他們認(rèn)為，頻率學(xué)派表面上不使用先驗(yàn)分布，但所得到的解也還是某種先驗(yàn)分布下的貝葉斯解，而這一潛在的先驗(yàn)分布，可能比經(jīng)過慎重選定的主觀先驗(yàn)分布更不合理。其次，貝葉斯學(xué)派還認(rèn)為，貝葉斯方法對統(tǒng)計(jì)推斷和決策問題給出程式化的解是優(yōu)點(diǎn)而非缺點(diǎn)，因?yàn)樗獬藢で蟪闃臃植迹ㄒ?a >統(tǒng)計(jì)量）這個(gè)困難的數(shù)學(xué)問題。而且這種程式化的解法并不是機(jī)械地套公式，它要求人們對先驗(yàn)分布、損失函數(shù)等的選擇作大量的工作。還有，貝葉斯學(xué)派認(rèn)為，用貝葉斯方法求出的解不需要頻率解釋，因而即使在一次使用下也有意義。反之，根據(jù)概率的頻率解釋而提供的解,則只有在大量次數(shù)使用之下才有意義,而這常常不符合應(yīng)用的實(shí)際。這兩個(gè)學(xué)派的爭論是戰(zhàn)后數(shù)理統(tǒng)計(jì)學(xué)發(fā)展中的一個(gè)特色。這個(gè)爭論目前還遠(yuǎn)沒有解決，它對今后數(shù)理統(tǒng)計(jì)學(xué)的發(fā)展還將產(chǎn)生影響。
在我們平常使用的貝葉斯定理中，關(guān)于先驗(yàn)概率一般都是像：對以往數(shù)據(jù)分析結(jié)果表明。。。。。根據(jù)以往的臨床記錄。。。。。之類的。。