資源描述：
《貝葉斯方法講義.ppt》由會員上傳分享，免費在線閱讀，更多相關內容在PPT專區(qū)-天天文庫。
1、第一節(jié)貝葉斯推斷方法第二節(jié)貝葉斯決策方法第十一章貝葉斯估計第一節(jié)貝葉斯推斷方法一、統(tǒng)計推斷中可用的三種信息美籍波蘭統(tǒng)計學家耐曼(E.L.Lehmann1894－1981)高度概括了在統(tǒng)計推斷中可用的三種信息：1．總體信息，即總體分布或所屬分布族給我們的信息。譬如“總體視察指數分布”或“總體是正態(tài)分布”在統(tǒng)計推斷中都發(fā)揮重要作用，只要有總體信息，就要想方設法在統(tǒng)計推斷中使用2．樣本信息，即樣本提供我們的信息，這是任一種統(tǒng)計推斷中都需要3．先驗信息，即在抽樣之前有關統(tǒng)計推斷的一些信息。譬如，在估計某產品的不合格率時，假如工廠保存了過去抽檢這種產品質量的資料，這些資料（包括歷史數據）有時估計該
2、產品的不合格率是有好處的。這些資料所提供的信息就是一種先驗信息。又如某工程師根據自己多年積累的經驗對正在設計的某種彩電的平均壽命所提供的估計也是一種先驗信息。由于這種信息是在“試驗之前”就已有的，故稱為先驗信息。以前所討論的點估計只使用前兩種信息，沒有使用先驗信息。假如能把收集到的先驗信息也利用起來，那對我們進行統(tǒng)計推斷是有好處的。只用前兩種信息的統(tǒng)計學稱為經典統(tǒng)計學，三種信息都用的統(tǒng)計學稱為貝葉斯統(tǒng)計學。本節(jié)將簡要介紹貝葉斯統(tǒng)計學中的點估計方法。二、貝葉斯公式的密度函數形式貝葉斯統(tǒng)計學的基礎是著名的貝葉斯公式，它是英國學者貝葉斯（T.R.Bayes1702~1761）在他死后二年發(fā)表的
3、一篇論文《論歸納推理的一種方法》中提出的。經過二百年的研究與應用，貝葉斯的統(tǒng)計思想得到很大的發(fā)展，目前已形成一個統(tǒng)計學派—貝葉斯學派。為了紀念他，英國歷史最悠久的統(tǒng)計雜志《Biometrika》在1958年又全文刊登貝葉斯的這篇論文。初等概率論中的貝葉斯公式是用事件的概率形式給出的。可在貝葉斯統(tǒng)計學中應用更多的是貝葉斯公式的密度函數形式。下面結合貝葉斯統(tǒng)計學的基本觀點來引出其密度函數形式。貝葉斯統(tǒng)計學的基本觀點可以用下面三個觀點歸納出來。假設Ⅰ隨機變量X有一個密度函數p（x；θ），其中θ是一個參數，不同的θ對應不同的密度函數，故從貝葉斯觀點看，p（x；θ）是在給定后θ是個條件密度函數，因
4、此記為p（x│θ）更恰當一些。這個條件密度能提供我們的有關的θ信息就是總體信息。假設Ⅱ當給定θ后，從總體p（x│θ）中隨機抽取一個樣本,該樣本中含有θ的有關信息。這種信息就是樣本信息。假設Ⅲ我們對參數θ已經積累了很多資料，經過分析、整理和加工，可以獲得一些有關θ的有用信息，這種信息就是先驗信息。參數θ不是永遠固定在一個值上，而是一個事先不能確定的量。從貝葉斯觀點來看，未知參數θ是一個隨機變量。而描述這個隨機變量的分布可從先驗信息中歸納出來，這個分布稱為先驗分布，其密度函數用π（θ）表示。1先驗分布定義3.1將總體中的未知參數θ∈Θ看成一取值于Θ的隨機變量，它有一概率分布，記為π（θ），稱
5、為參數θ的先驗分布。2后驗分布在貝葉斯統(tǒng)計學中，把以上的三種信息歸納起來的最好形式是在總體分布基礎上獲得的樣本X1，…，Xn，和參數的聯合密度函數在這個聯合密度函數中。當樣本給定之后，未知的僅是參數θ了，我們關心的是樣本給定后，θ的條件密度函數，依據密度的計算公式，容易獲得這個條件密度函數這就是貝葉斯公式的密度函數形式，其中稱為θ的后驗密度函數，或后驗分布。而是樣本的邊際分布，或稱樣本的無條件分布，它的積分區(qū)域就是參數θ的取值范圍，隨具體情況而定。前面的分析總結如下：人們根據先驗信息對參數θ已有一個認識，這個認識就是先驗分布π（θ）。通過試驗，獲得樣本。從而對θ的先驗分布進行調整，調整的
6、方法就是使用上面的貝葉斯公式，調整的結果就是后驗分布。后驗分布是三種信息的綜合。獲得后驗分布使人們對θ的認識又前進一步，可看出，獲得樣本的的效果是把我們對θ的認識由π（θ）調整到。所以對θ的統(tǒng)計推斷就應建立在后驗分布的基礎上。如果此時我們對事件A的發(fā)生沒有任何了解，對的大小也沒有任何信息。在這種情況下，貝葉斯建議用區(qū)間（0，1）上的均勻分布作為的先驗分布。因為它在（0，1）上每一點都是機會均等的。這個建議被后人稱為貝葉斯假設。例1設事件A的概率為，即。為了估計而作n次獨立觀察，其中事件出現次數為X，則有X服從二項分布即樣本X與參數的聯合分布為此式在定義域上與二項分布有區(qū)別。再計算X的邊際
7、密度為即拉普拉斯計算過這個概率,研究男嬰的誕生比例是否大于0.5?如抽了251527個男嬰,女嬰241945個貝葉斯統(tǒng)計學首先要想方設法先去尋求θ的先驗分布。先驗分布的確定大致可分以下幾步：第一步，選一個適應面較廣的分布族作先驗分布族，使它在數學處理上方便一些，這里我們選用β分布族注：作為θ的先驗分布族是恰當的，從以下幾方面考慮：1參數θ是廢品率，它僅在（0，1）上取值。因此，必需用區(qū)間（0，1）上的一個分布去擬合先驗信息。β分布正
