《貝葉斯推斷方法》PPT課件

《《貝葉斯推斷方法》PPT課件》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第一節(jié)貝葉斯推斷方法第二節(jié)貝葉斯決策方法第十一章貝葉斯估計(jì)第一節(jié)貝葉斯推斷方法一、統(tǒng)計(jì)推斷中可用的三種信息美籍波蘭統(tǒng)計(jì)學(xué)家耐曼(E.L.Lehmann1894－1981)高度概括了在統(tǒng)計(jì)推斷中可用的三種信息：1．總體信息，即總體分布或所屬分布族給我們的信息。譬如“總體視察指數(shù)分布”或“總體是正態(tài)分布”在統(tǒng)計(jì)推斷中都發(fā)揮重要作用，只要有總體信息，就要想方設(shè)法在統(tǒng)計(jì)推斷中使用2．樣本信息，即樣本提供我們的信息，這是任一種統(tǒng)計(jì)推斷中都需要3．先驗(yàn)信息，即在抽樣之前有關(guān)統(tǒng)計(jì)推斷的一些信息。譬如，在估計(jì)某產(chǎn)品的不合格率時(shí)，假如工廠保存了過去抽檢這種產(chǎn)品質(zhì)量的資料，這些資料（包括歷史

2、數(shù)據(jù)）有時(shí)估計(jì)該產(chǎn)品的不合格率是有好處的。這些資料所提供的信息就是一種先驗(yàn)信息。又如某工程師根據(jù)自己多年積累的經(jīng)驗(yàn)對正在設(shè)計(jì)的某種彩電的平均壽命所提供的估計(jì)也是一種先驗(yàn)信息。由于這種信息是在“試驗(yàn)之前”就已有的，故稱為先驗(yàn)信息。以前所討論的點(diǎn)估計(jì)只使用前兩種信息，沒有使用先驗(yàn)信息。假如能把收集到的先驗(yàn)信息也利用起來，那對我們進(jìn)行統(tǒng)計(jì)推斷是有好處的。只用前兩種信息的統(tǒng)計(jì)學(xué)稱為經(jīng)典統(tǒng)計(jì)學(xué)，三種信息都用的統(tǒng)計(jì)學(xué)稱為貝葉斯統(tǒng)計(jì)學(xué)。本節(jié)將簡要介紹貝葉斯統(tǒng)計(jì)學(xué)中的點(diǎn)估計(jì)方法。二、貝葉斯公式的密度函數(shù)形式貝葉斯統(tǒng)計(jì)學(xué)的基礎(chǔ)是著名的貝葉斯公式，它是英國學(xué)者貝葉斯（T.R.Bayes170

3、2~1761）在他死后二年發(fā)表的一篇論文《論歸納推理的一種方法》中提出的。經(jīng)過二百年的研究與應(yīng)用，貝葉斯的統(tǒng)計(jì)思想得到很大的發(fā)展，目前已形成一個(gè)統(tǒng)計(jì)學(xué)派—貝葉斯學(xué)派。為了紀(jì)念他，英國歷史最悠久的統(tǒng)計(jì)雜志《Biometrika》在1958年又全文刊登貝葉斯的這篇論文。初等概率論中的貝葉斯公式是用事件的概率形式給出的。可在貝葉斯統(tǒng)計(jì)學(xué)中應(yīng)用更多的是貝葉斯公式的密度函數(shù)形式。下面結(jié)合貝葉斯統(tǒng)計(jì)學(xué)的基本觀點(diǎn)來引出其密度函數(shù)形式。貝葉斯統(tǒng)計(jì)學(xué)的基本觀點(diǎn)可以用下面三個(gè)觀點(diǎn)歸納出來。假設(shè)Ⅰ隨機(jī)變量X有一個(gè)密度函數(shù)p（x；θ），其中θ是一個(gè)參數(shù)，不同的θ對應(yīng)不同的密度函數(shù)，故從貝葉斯觀點(diǎn)

4、看，p（x；θ）是在給定后θ是個(gè)條件密度函數(shù)，因此記為p（x│θ）更恰當(dāng)一些。這個(gè)條件密度能提供我們的有關(guān)的θ信息就是總體信息。假設(shè)Ⅱ當(dāng)給定θ后，從總體p（x│θ）中隨機(jī)抽取一個(gè)樣本,該樣本中含有θ的有關(guān)信息。這種信息就是樣本信息。假設(shè)Ⅲ我們對參數(shù)θ已經(jīng)積累了很多資料，經(jīng)過分析、整理和加工，可以獲得一些有關(guān)θ的有用信息，這種信息就是先驗(yàn)信息。參數(shù)θ不是永遠(yuǎn)固定在一個(gè)值上，而是一個(gè)事先不能確定的量。從貝葉斯觀點(diǎn)來看，未知參數(shù)θ是一個(gè)隨機(jī)變量。而描述這個(gè)隨機(jī)變量的分布可從先驗(yàn)信息中歸納出來，這個(gè)分布稱為先驗(yàn)分布，其密度函數(shù)用π（θ）表示。1先驗(yàn)分布定義3.1將總體中的未知參數(shù)

5、θ∈Θ看成一取值于Θ的隨機(jī)變量，它有一概率分布，記為π（θ），稱為參數(shù)θ的先驗(yàn)分布。2后驗(yàn)分布在貝葉斯統(tǒng)計(jì)學(xué)中，把以上的三種信息歸納起來的最好形式是在總體分布基礎(chǔ)上獲得的樣本X1，…，Xn，和參數(shù)的聯(lián)合密度函數(shù)在這個(gè)聯(lián)合密度函數(shù)中。當(dāng)樣本給定之后，未知的僅是參數(shù)θ了，我們關(guān)心的是樣本給定后，θ的條件密度函數(shù)，依據(jù)密度的計(jì)算公式，容易獲得這個(gè)條件密度函數(shù)這就是貝葉斯公式的密度函數(shù)形式，其中稱為θ的后驗(yàn)密度函數(shù)，或后驗(yàn)分布。而是樣本的邊際分布，或稱樣本的無條件分布，它的積分區(qū)域就是參數(shù)θ的取值范圍，隨具體情況而定。前面的分析總結(jié)如下：人們根據(jù)先驗(yàn)信息對參數(shù)θ已有一個(gè)認(rèn)識，這個(gè)

6、認(rèn)識就是先驗(yàn)分布π（θ）。通過試驗(yàn)，獲得樣本。從而對θ的先驗(yàn)分布進(jìn)行調(diào)整，調(diào)整的方法就是使用上面的貝葉斯公式，調(diào)整的結(jié)果就是后驗(yàn)分布。后驗(yàn)分布是三種信息的綜合。獲得后驗(yàn)分布使人們對θ的認(rèn)識又前進(jìn)一步，可看出，獲得樣本的的效果是把我們對θ的認(rèn)識由π（θ）調(diào)整到。所以對θ的統(tǒng)計(jì)推斷就應(yīng)建立在后驗(yàn)分布的基礎(chǔ)上。如果此時(shí)我們對事件A的發(fā)生沒有任何了解，對的大小也沒有任何信息。在這種情況下，貝葉斯建議用區(qū)間（0，1）上的均勻分布作為的先驗(yàn)分布。因?yàn)樗冢?，1）上每一點(diǎn)都是機(jī)會均等的。這個(gè)建議被后人稱為貝葉斯假設(shè)。例1設(shè)事件A的概率為，即。為了估計(jì)而作n次獨(dú)立觀察，其中事件出現(xiàn)次數(shù)

7、為X，則有X服從二項(xiàng)分布即樣本X與參數(shù)的聯(lián)合分布為此式在定義域上與二項(xiàng)分布有區(qū)別。再計(jì)算X的邊際密度為即拉普拉斯計(jì)算過這個(gè)概率,研究男嬰的誕生比例是否大于0.5?如抽了251527個(gè)男嬰,女嬰241945個(gè)貝葉斯統(tǒng)計(jì)學(xué)首先要想方設(shè)法先去尋求θ的先驗(yàn)分布。先驗(yàn)分布的確定大致可分以下幾步：第一步，選一個(gè)適應(yīng)面較廣的分布族作先驗(yàn)分布族，使它在數(shù)學(xué)處理上方便一些，這里我們選用β分布族注：作為θ的先驗(yàn)分布族是恰當(dāng)?shù)?，從以下幾方面考慮：1參數(shù)θ是廢品率，它僅在（0，1）上取值。因此，必需用區(qū)間（0，1）上的一個(gè)分布去擬合先驗(yàn)信息。β分布正