基于mcmc方法的貝葉斯統(tǒng)計推斷

《基于mcmc方法的貝葉斯統(tǒng)計推斷》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、萬方數(shù)據(jù)基礎(chǔ)及前沿研究Fundamentalandfrontierresearch中國科技信息2012年第10期CHINASCIENCEANDTEC帆OGYINFORMATIONM_y．2012DOI：10．3969／j．issn．1001—8972．2012．10．024基于MCMC方法的貝葉斯統(tǒng)計推斷趙琪山東英才學(xué)院基礎(chǔ)部，山東濟(jì)南25001摘要由貝葉斯方法得到的后驗(yàn)分布函數(shù)H(xl經(jīng)常是復(fù)雜的，高維的，非標(biāo)準(zhǔn)形式的．時這種函數(shù)進(jìn)行有關(guān)的積分計算通常十分困難。馬氏鏈蒙特卡洛(McMc)方法為解決此委問題提供7很好的思路。關(guān)鍵詞馬氏鏈蒙特卡洛(M∞慟方法；貝葉斯統(tǒng)計；G№抽

2、樣一．馬氏鏈蒙特卡洛(MCMC)方法簡介馬氏鏈紫特卡洛方法本質(zhì)上是一個蒙待卡洛綜合程序．它的隨機(jī)樣本的產(chǎn)生與一條馬氏鏈有關(guān)。其基奉思想是通過建立一個平锪分布為Ⅱ(x)的‘§氏鏈柬得到n(x)的樣本，然后基于這些樣本就可以傲各種統(tǒng)計推斷，概括起來分為以下三步：(1)在D上選。個“合適”的馬氏鏈．使其轉(zhuǎn)移段7-P(j·)，“合適”的含義就足指石o)足其相心的平穩(wěn)分柿(2)由D上的某’點(diǎn)X”’出發(fā)。用‘”中的馬氏鏈產(chǎn)生點(diǎn)序列Ⅳ“’??．，X‘”’(3)對某個卅和足夠大的"，任。函數(shù)f(x)的期望估計如下．1三‘／2志∑．f(X“’>可以看出栗用MCMC方法時．構(gòu)造轉(zhuǎn)移核是至關(guān)鶯要的

3、，不同的MCMC方法iE往也就是轉(zhuǎn)移核的構(gòu)造片法不Iiil?；鵩條件分布的迭代取樣是一種重要的馬氏鏈蒙特卡洛方法．其中最著名的特殊情況是Gibbs抽樣，現(xiàn)在已成為統(tǒng)計計算的標(biāo)準(zhǔn)1=具．它最吸引入的特征是其潛在的馬氏鏈?zhǔn)峭ㄟ^分解一系列條件分布建立起來。這就要用糾條件分布，特剔是滿條件分布。所謂滿條件分布就是形如，r(xr『x一，l的條件分布．其中xr=k，fEn。工一r={‘．i《T}，TcN={l，¨．．，t}。注意到·在r述的條件分布中，所有的變量全部融現(xiàn)了(或{15現(xiàn)存條件tp，或H：現(xiàn)在變元中)。由于Gibbs抽樣只涉發(fā)單變量抽樣．這使之最具吸引力。下面就介紹一下Gib

4、bs抽樣方法。改給定f『一個腳維聯(lián)合分布療(z．，．．．，k)。在Gibbs抽樣中{句造如下的轉(zhuǎn)移核一．只，，P(工，y)=I10I砥兒iH，．．·，幾_I'^”?，‘)其中X=(五，．．．，矗)，y=(Yl，?．Y。)，工f∈D，Yf∈D而萬(兒lH??YkI，‘+l'?，‘)是在除第七個分犀外·將第1至七一1個分量詞定為Y11,-,9Yk一．-并將第k+l至第m個分量伺定為‘。?，‘的彖件下．第七個分量在兒處的條件分布t可驗(yàn)證(只。)確實(shí)是一個轉(zhuǎn)移陣。即芝。Px．，=l∑。嗽‰以’=∑。糟?；鄹?l∑．^，=∑?！?、．?【∑．州^I乓P．，x．fix(y：IH．^?．～)

5、．．Jo‘IY,?．凡一．)=l可驗(yàn)證．，r(玉，．．．，k)是以p(工，)，)為轉(zhuǎn)移陣的馬氏鏈的平穩(wěn)分布∑％。．}療(一．．．．，k)瓜(葺一-，‘)’執(zhí)，．．-，兒))2∑～∑～．?∑．州毛，．．。x．)nly·l‘，一‘I州J，2IY,．^．．．，‘)一．州幾l^，．．．兒。)=∑。∑。-∑，州扣．．．‘’量專ii}j!：!礱帆‰昏-，‘I．．，rly．Im．．，k．}：∑，．∑。．?∑．，州弗，^．．．，t)F《奶eM·而，．．··‘)”鼻(兒}Y1．．．。丘一。)Gibbs抽樣具體步驟如下：由馬氏鏈以(塒)的樣本可按以下程序得到t．．(m)的一個樣本(一，¨．，兒)

6、(1)先得到服從分布{丌(舅I而，．．，，‘)，^∈Dl}得隨機(jī)變量以。．(腳)·(注意毛．，．．．‘來自X(∞))．(2)再得到服從分布{石02l一。而，．．．．‘)'兒∈D2}的隨機(jī)變量以“：(∞)的一個樣本兒，依次下去，得到服從分布{丌(兒Iyl，?，兒?！甀’?，k，兒∈q}的隨機(jī)變量以“。(緲)的一個樣本幾(七=l，¨．，所一1)。最后得到服從分布{丌()_fM，?，)■一1)，，_∈D}的隨機(jī)變量以“。(腳)的一個樣本‰·定義y(M，?，虬)就是以+I(∞)的一個樣本?，F(xiàn)任取一個初值X。(山)=Y【ol，按上面方法得XI(03)的一個樣本y‘”，XCn歸納地得到

7、置(礎(chǔ))，．．．，x。(co)的樣本y‘2、，?，Y¨’，當(dāng)?shù)冻浞执髸r，馬氏鏈X。(緲)分布近似于石(五，?，X。)，就可以認(rèn)為Y枷’是近似服從，r(^，．．．，吒)的一個樣本。二．貝葉斯統(tǒng)計推斷方法與貝葉斯公式貝葉斯統(tǒng)計發(fā)源于十八世紀(jì)英國學(xué)者貝葉斯。他的方法被以后的一些統(tǒng)計學(xué)家發(fā)展成一種系統(tǒng)的統(tǒng)計推斷方法。到L世紀(jì)30年代已形成貝葉斯學(xué)派，到50-60年代已發(fā)展成一個有影響的統(tǒng)計學(xué)派，其影響還在日益擴(kuò)大．貝葉斯學(xué)派的晟基本觀點(diǎn)是：任一未知量曰都可看作隨機(jī)變量．都可用一個概率分布去描述它，這個分布稱為先