EX&ANS_C4馬爾可夫鏈

《EX&ANS_C4馬爾可夫鏈》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、練習(xí)四：馬爾可夫鏈隨機(jī)過程練習(xí)題1．設(shè)質(zhì)點(diǎn)在區(qū)間[0，4]的整數(shù)點(diǎn)作隨機(jī)游動，到達(dá)0點(diǎn)或4點(diǎn)后以概率1停留在原處，在其它整數(shù)點(diǎn)分別以概率向左、右移動一格或停留在原處。求質(zhì)點(diǎn)隨機(jī)游動的一步和二步轉(zhuǎn)移的概率矩陣。2．獨(dú)立地重復(fù)拋擲一枚硬幣，每次拋擲出現(xiàn)正面的概率為，對于求，令=0，1，2或3，這些值分別對應(yīng)于第次和第次拋擲的結(jié)果為（正，正），（正，反），（反，正）或（反，反）。求馬爾可夫鏈的一步和二步轉(zhuǎn)移的概率矩陣。3．設(shè)為馬爾可夫鏈，試證：（1）（2）4．設(shè)為有限齊次馬爾可夫鏈，其初始分布和轉(zhuǎn)移概率矩陣為，，試證

2、5．設(shè)為隨機(jī)過程，且，為獨(dú)立同分布隨機(jī)變量序列，令，試證是馬爾可夫鏈。6．已知隨機(jī)游動的轉(zhuǎn)移概率矩陣為，求三步轉(zhuǎn)移概率矩陣及當(dāng)初始分布為時(shí)經(jīng)三步轉(zhuǎn)移后處于狀態(tài)3的概率。7．已知本月銷售狀態(tài)的初始分布和轉(zhuǎn)移概率矩陣如下：（1），；（2），；求下一、二個(gè)月的銷售狀態(tài)分布。8．某商品六年共24個(gè)季度銷售記錄如表（狀態(tài)1——暢銷，狀態(tài)2——滯銷）季節(jié)123456789101112銷售狀態(tài)112122111212季節(jié)131415161718192021222324銷售狀態(tài)112211212111以頻率估計(jì)概率。求（1）銷

3、售狀態(tài)的初始分布；（2）三步轉(zhuǎn)移概率矩陣及三步轉(zhuǎn)移后的銷售狀態(tài)分布。10．討論下列轉(zhuǎn)移概率矩陣的馬爾可夫鏈的狀態(tài)分類。（1）；（2）；（3），其中，11．設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為（1）；（2）；計(jì)算，，12．設(shè)馬爾可夫鏈的狀態(tài)空間，轉(zhuǎn)移概率矩陣為求狀態(tài)的分類及各常返閉集的平穩(wěn)分布。13．設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為，求它的平穩(wěn)分布。14．艾倫菲斯特(Erenfest)鏈。設(shè)甲乙兩個(gè)容器共有個(gè)球，每隔單位時(shí)間從這個(gè)球中任取一球放入另一容器中，記為在時(shí)刻甲容器中球的個(gè)數(shù)，則是齊次馬爾可夫鏈，稱為艾倫菲斯特鏈，求

4、該鏈的平穩(wěn)分布。15．將2個(gè)紅球4個(gè)白球任意地分別放入甲、乙兩個(gè)盒子中，每個(gè)盒子放3個(gè)，現(xiàn)從每個(gè)盒子中各任取一球，交換后放回盒中（甲盒內(nèi)取出的球放入乙盒中，乙盒內(nèi)取出的球放入甲盒中），以表示經(jīng)過次交換后甲盒中紅球數(shù)，則為一齊次馬爾可夫鏈，（1）求一步轉(zhuǎn)移概率矩陣；（2）證明是遍歷鏈；（3）求16．設(shè)為非周期不可約馬爾可夫鏈，狀態(tài)空間為，若對一切，其一步轉(zhuǎn)移概率矩陣滿足條件：，試證（1）對一切，；（2）若狀態(tài)空間，計(jì)算各狀態(tài)的平均返回時(shí)間。17．設(shè)河流每天的BOD（生物耗氧量）濃度為齊次馬爾可夫鏈，狀態(tài)空間是按B

5、OD濃度為極低、低、中、高分別表示的，其一步轉(zhuǎn)移概率矩陣（以一天為單位）為。若BOD濃度為高，則稱河流處于污染狀態(tài)。（1）證明該鏈?zhǔn)潜闅v鏈；（2）求該鏈的平穩(wěn)分布；（3）河流再次達(dá)到污染的平均時(shí)間。答案1．解：質(zhì)點(diǎn)隨機(jī)游動的一步轉(zhuǎn)移的概率矩陣為質(zhì)點(diǎn)隨機(jī)游動的二步轉(zhuǎn)移的概率矩陣為2．解：馬爾可夫鏈的一步轉(zhuǎn)移的概率矩陣為馬爾可夫鏈的一步和二步轉(zhuǎn)移的概率矩陣為3．證：（1）（2）4．證：5．解：由題意知是的函數(shù)，由于是相互獨(dú)立的隨機(jī)變量，故對，與獨(dú)立。由，的任意性知為馬爾可夫鏈。6．解：，7．解：，8．解：，，9．解

6、：，兩個(gè)閉集。10．解：（1），兩個(gè)遍歷狀態(tài)閉集。（2）遍歷閉集，非常返態(tài)。（3），是吸收態(tài)閉集，是非常返集。11．解：（1），，；，，；，，；，，。12．解：，非常返集，，是正常返閉集。由轉(zhuǎn)移矩陣解得的平穩(wěn)分布為；同理，的平穩(wěn)分布為。13．解：，，14．解：的轉(zhuǎn)移概率為，，，，其平穩(wěn)分布滿足方程組解此方程組得由條件得故的平穩(wěn)分布為，15．解：（1）（2）由于是有限的，中所有狀態(tài)是互通的，且狀態(tài)0是非周期的，故為遍歷鏈。（3）由平穩(wěn)分布滿足的方程組解方程組得：，，，，16．解：（1）用歸納法。設(shè)當(dāng)時(shí)，對一切，都

7、有，則（2）由條件知為非周期不可分馬爾可夫鏈，且狀態(tài)空間有限，故為遍歷鏈，因此，所以，，17．解：（2），，，；（3）（天）練習(xí)五：連續(xù)時(shí)間的馬爾可夫鏈隨機(jī)過程練習(xí)題1．設(shè)連續(xù)時(shí)間馬爾可夫鏈具有轉(zhuǎn)移概率其中是正數(shù)，表示一個(gè)生物群體在時(shí)刻的成員總數(shù)，求柯爾莫哥洛夫方程，轉(zhuǎn)移概率。（提示：利用以下結(jié)果，若為實(shí)數(shù)，為連續(xù)函數(shù)，，則）2．一質(zhì)點(diǎn)在1，2，3點(diǎn)上作隨機(jī)游動。若在時(shí)刻質(zhì)點(diǎn)位于這三個(gè)點(diǎn)之一，則在內(nèi)，它以概率分別轉(zhuǎn)移到其它二點(diǎn)之一。試求質(zhì)點(diǎn)隨機(jī)游動的柯爾莫哥洛夫方程，轉(zhuǎn)移概率及平穩(wěn)分布。3．在某車間有臺車床，由

8、于各種原因車床時(shí)而工作，時(shí)而停止。假設(shè)時(shí)刻，一臺正在工作的車床，在時(shí)刻停止工作的概率為，而時(shí)刻不工作的車床，在時(shí)刻開始工作的概率為，且各車床工作情況是相互獨(dú)立的。若表示時(shí)刻正在工作的車床數(shù)，求（1）齊次馬爾可夫過程的平穩(wěn)分布；（2）若，，，系統(tǒng)處于平穩(wěn)狀態(tài)時(shí)有一半以上車床在工作的概率。4．排隊(duì)問題。設(shè)有一服務(wù)臺，內(nèi)到達(dá)服務(wù)臺的顧客數(shù)是服從泊松分布的隨機(jī)變量，即顧客流是泊松過程。單位時(shí)間