《貝葉斯推斷方法》PPT課件

《《貝葉斯推斷方法》PPT課件》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第一節(jié)貝葉斯推斷方法第二節(jié)貝葉斯決策方法第十一章貝葉斯估計第一節(jié)貝葉斯推斷方法一、統(tǒng)計推斷中可用的三種信息美籍波蘭統(tǒng)計學(xué)家耐曼(E.L.Lehmann1894－1981)高度概括了在統(tǒng)計推斷中可用的三種信息：1．總體信息，即總體分布或所屬分布族給我們的信息。譬如“總體視察指數(shù)分布”或“總體是正態(tài)分布”在統(tǒng)計推斷中都發(fā)揮重要作用，只要有總體信息，就要想方設(shè)法在統(tǒng)計推斷中使用2．樣本信息，即樣本提供我們的信息，這是任一種統(tǒng)計推斷中都需要3．先驗信息，即在抽樣之前有關(guān)統(tǒng)計推斷的一些信息。譬如，在估計某產(chǎn)品的不合格率時，假如工廠保存了過去抽檢這種產(chǎn)品質(zhì)量的資料，這些資料（包括歷史

2、數(shù)據(jù)）有時估計該產(chǎn)品的不合格率是有好處的。這些資料所提供的信息就是一種先驗信息。又如某工程師根據(jù)自己多年積累的經(jīng)驗對正在設(shè)計的某種彩電的平均壽命所提供的估計也是一種先驗信息。由于這種信息是在“試驗之前”就已有的，故稱為先驗信息。以前所討論的點估計只使用前兩種信息，沒有使用先驗信息。假如能把收集到的先驗信息也利用起來，那對我們進行統(tǒng)計推斷是有好處的。只用前兩種信息的統(tǒng)計學(xué)稱為經(jīng)典統(tǒng)計學(xué)，三種信息都用的統(tǒng)計學(xué)稱為貝葉斯統(tǒng)計學(xué)。本節(jié)將簡要介紹貝葉斯統(tǒng)計學(xué)中的點估計方法。二、貝葉斯公式的密度函數(shù)形式貝葉斯統(tǒng)計學(xué)的基礎(chǔ)是著名的貝葉斯公式，它是英國學(xué)者貝葉斯（T.R.Bayes170

3、2~1761）在他死后二年發(fā)表的一篇論文《論歸納推理的一種方法》中提出的。經(jīng)過二百年的研究與應(yīng)用，貝葉斯的統(tǒng)計思想得到很大的發(fā)展，目前已形成一個統(tǒng)計學(xué)派—貝葉斯學(xué)派。為了紀念他，英國歷史最悠久的統(tǒng)計雜志《Biometrika》在1958年又全文刊登貝葉斯的這篇論文。初等概率論中的貝葉斯公式是用事件的概率形式給出的?？稍谪惾~斯統(tǒng)計學(xué)中應(yīng)用更多的是貝葉斯公式的密度函數(shù)形式。下面結(jié)合貝葉斯統(tǒng)計學(xué)的基本觀點來引出其密度函數(shù)形式。貝葉斯統(tǒng)計學(xué)的基本觀點可以用下面三個觀點歸納出來。假設(shè)Ⅰ隨機變量X有一個密度函數(shù)p（x；θ），其中θ是一個參數(shù)，不同的θ對應(yīng)不同的密度函數(shù)，故從貝葉斯觀點

4、看，p（x；θ）是在給定后θ是個條件密度函數(shù)，因此記為p（x│θ）更恰當(dāng)一些。這個條件密度能提供我們的有關(guān)的θ信息就是總體信息。假設(shè)Ⅱ當(dāng)給定θ后，從總體p（x│θ）中隨機抽取一個樣本,該樣本中含有θ的有關(guān)信息。這種信息就是樣本信息。假設(shè)Ⅲ我們對參數(shù)θ已經(jīng)積累了很多資料，經(jīng)過分析、整理和加工，可以獲得一些有關(guān)θ的有用信息，這種信息就是先驗信息。參數(shù)θ不是永遠固定在一個值上，而是一個事先不能確定的量。從貝葉斯觀點來看，未知參數(shù)θ是一個隨機變量。而描述這個隨機變量的分布可從先驗信息中歸納出來，這個分布稱為先驗分布，其密度函數(shù)用π（θ）表示。1先驗分布定義3.1將總體中的未知參數(shù)

5、θ∈Θ看成一取值于Θ的隨機變量，它有一概率分布，記為π（θ），稱為參數(shù)θ的先驗分布。2后驗分布在貝葉斯統(tǒng)計學(xué)中，把以上的三種信息歸納起來的最好形式是在總體分布基礎(chǔ)上獲得的樣本X1，…，Xn，和參數(shù)的聯(lián)合密度函數(shù)在這個聯(lián)合密度函數(shù)中。當(dāng)樣本給定之后，未知的僅是參數(shù)θ了，我們關(guān)心的是樣本給定后，θ的條件密度函數(shù)，依據(jù)密度的計算公式，容易獲得這個條件密度函數(shù)這就是貝葉斯公式的密度函數(shù)形式，其中稱為θ的后驗密度函數(shù)，或后驗分布。而是樣本的邊際分布，或稱樣本的無條件分布，它的積分區(qū)域就是參數(shù)θ的取值范圍，隨具體情況而定。前面的分析總結(jié)如下：人們根據(jù)先驗信息對參數(shù)θ已有一個認識，這個

6、認識就是先驗分布π（θ）。通過試驗，獲得樣本。從而對θ的先驗分布進行調(diào)整，調(diào)整的方法就是使用上面的貝葉斯公式，調(diào)整的結(jié)果就是后驗分布。后驗分布是三種信息的綜合。獲得后驗分布使人們對θ的認識又前進一步，可看出，獲得樣本的的效果是把我們對θ的認識由π（θ）調(diào)整到。所以對θ的統(tǒng)計推斷就應(yīng)建立在后驗分布的基礎(chǔ)上。如果此時我們對事件A的發(fā)生沒有任何了解，對的大小也沒有任何信息。在這種情況下，貝葉斯建議用區(qū)間（0，1）上的均勻分布作為的先驗分布。因為它在（0，1）上每一點都是機會均等的。這個建議被后人稱為貝葉斯假設(shè)。例1設(shè)事件A的概率為，即。為了估計而作n次獨立觀察，其中事件出現(xiàn)次數(shù)

7、為X，則有X服從二項分布即樣本X與參數(shù)的聯(lián)合分布為此式在定義域上與二項分布有區(qū)別。再計算X的邊際密度為即拉普拉斯計算過這個概率,研究男嬰的誕生比例是否大于0.5?如抽了251527個男嬰,女嬰241945個貝葉斯統(tǒng)計學(xué)首先要想方設(shè)法先去尋求θ的先驗分布。先驗分布的確定大致可分以下幾步：第一步，選一個適應(yīng)面較廣的分布族作先驗分布族，使它在數(shù)學(xué)處理上方便一些，這里我們選用β分布族注：作為θ的先驗分布族是恰當(dāng)?shù)?，從以下幾方面考慮：1參數(shù)θ是廢品率，它僅在（0，1）上取值。因此，必需用區(qū)間（0，1）上的一個分布去擬合先驗信息。β分布正