馬氏鏈及其應(yīng)用.ppt

《馬氏鏈及其應(yīng)用.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、馬爾科夫連原理及其建模實(shí)例馬氏鏈及其應(yīng)用1.一個(gè)簡(jiǎn)單的例子我們知道，人壽保險(xiǎn)公司最為關(guān)心的是投保人的健康與疾病以及相應(yīng)的風(fēng)險(xiǎn)。通過下面的例子我們來看保險(xiǎn)公司是如何處理這類問題的。問題的提出設(shè)表示年齡的時(shí)段，假定在一年中，今年健康而明年患病的概率是而今年患病明年轉(zhuǎn)為健康的概率為假設(shè)一個(gè)人在投保時(shí)處于健康狀態(tài)，我們來研究若干年之后他分別處于這兩種狀態(tài)的概率。建模用隨機(jī)變量表示第年的狀態(tài)，表示健康，表示疾病。以表示第年?duì)顟B(tài)為的概率。即⑴以表示今年?duì)顟B(tài)處于明年?duì)顟B(tài)處于的概率，即由全概率公式得到：⑵即由假設(shè)，⑶再由于投保人處于健康狀態(tài)，即由此得到若投保人在開

2、始時(shí)處于疾病狀態(tài)，即則有從兩張表中可以看到，無(wú)論投保人在初始時(shí)處于什么狀態(tài)，當(dāng)時(shí)間趨于無(wú)窮大時(shí)，該時(shí)刻的狀態(tài)趨于穩(wěn)定，且與初始值無(wú)關(guān)。即兩種狀態(tài)的轉(zhuǎn)移概率意義若將眾多投保人處于兩種狀態(tài)的比例，視為投保人處于兩種狀態(tài)的概率，例如健康人占3/4，病人占1/4，即則同樣可計(jì)算出由上面的分析可以看出，對(duì)于給定的狀態(tài)轉(zhuǎn)移概率，時(shí)的狀態(tài)概率，趨向于穩(wěn)定值，該值與初始值無(wú)關(guān)，這是馬氏鏈的重要性質(zhì)。把人的死亡看作第三種狀態(tài)，用來表示，相應(yīng)的轉(zhuǎn)移概率如下圖表示。三種狀態(tài)的轉(zhuǎn)移概率仍以表示狀態(tài)為時(shí)的概率，表示狀態(tài)轉(zhuǎn)移概率，即有平行于⑴式，有設(shè)投保人在期初處于健康狀態(tài)，

3、則由⑷可計(jì)算出若干年后他處于各個(gè)狀態(tài)的概率。⑷表中最后一列數(shù)據(jù)是通過預(yù)測(cè)得到的。從表中的數(shù)據(jù)又可以看到，無(wú)論投保人在期初處于什么狀態(tài)，當(dāng)時(shí)，總有2.馬爾可夫鏈假設(shè)1.系統(tǒng)是隨時(shí)間的發(fā)展而離散為2.在任何時(shí)刻，系統(tǒng)的狀態(tài)為有限多個(gè)。在時(shí)間時(shí)，系統(tǒng)的狀態(tài)的的取值為3.在時(shí)刻時(shí)系統(tǒng)處于各狀態(tài)的概率只與時(shí)刻時(shí)系統(tǒng)所處的概率與轉(zhuǎn)移概率有關(guān)。滿足以上三個(gè)假設(shè)的系統(tǒng)的隨機(jī)發(fā)展過程稱為馬爾可夫過程或馬氏鏈。設(shè)在時(shí)刻時(shí)系統(tǒng)處于狀態(tài)的概率為行向量稱為狀態(tài)概率向量，由概率的意義，向量應(yīng)該滿足⑸及⑹⑺設(shè)在時(shí)刻處于狀態(tài)的系統(tǒng)轉(zhuǎn)移到時(shí)刻處于的概率為它應(yīng)該滿足1.2.⑻引如概率

4、轉(zhuǎn)移矩陣由假設(shè)3，再由全概率公式得⑼用矩陣的方法來表示的話，⑼可以寫成簡(jiǎn)單地可以寫成由此可得系統(tǒng)在時(shí)刻時(shí)的狀態(tài)向量為其中為時(shí)刻時(shí)系統(tǒng)的狀態(tài)概率向量，又稱為狀態(tài)初始向量。⑽例在前兩例中，初始向量與概率轉(zhuǎn)移矩陣分別為我們通過下面的例子具體說明：上式表明在時(shí)刻時(shí)投保人處于患病狀態(tài)的概率為：從上面的例子中可以看出，對(duì)于馬氏鏈模型，最重要的是構(gòu)造狀態(tài)及概率轉(zhuǎn)移矩陣由此對(duì)于給定的初始狀態(tài)由⑽可計(jì)算出任意時(shí)刻的狀態(tài)正則鏈定義一個(gè)有個(gè)狀態(tài)的馬氏鏈，如果存在正整數(shù)使從任意狀態(tài)經(jīng)次的轉(zhuǎn)移，能以大于零的概率到達(dá)狀態(tài)則稱這樣的鏈為正則鏈.定理1設(shè)馬氏鏈的轉(zhuǎn)移矩陣為則該鏈為

5、正則鏈的充分必要條件是存在使得定理2正則鏈存在唯一的極限狀態(tài)概率滿足與初始狀態(tài)概率無(wú)關(guān)，且及⑾⑿例1設(shè)則由此確定的馬氏鏈為正則鏈。令滿足⑾式，即有由此得到方程組聯(lián)系⑿則得到故方程組的解為這和前面的結(jié)果是相吻合的。例2設(shè)因故由此確定的馬氏鏈?zhǔn)钦齽t鏈。令由方程⑾，⑿確定方程組從方程中解出即吸收鏈定義如果存在某個(gè)狀態(tài)轉(zhuǎn)移概率則稱狀態(tài)是吸收的.如果馬氏鏈中含有吸收狀態(tài),并且從每一個(gè)非吸收狀態(tài)出發(fā)都可以達(dá)到某個(gè)吸收狀態(tài)，則稱這個(gè)馬氏鏈為吸收鏈。例如在前面三個(gè)狀態(tài)的轉(zhuǎn)移概率中，轉(zhuǎn)移概率矩陣為并且從每個(gè)狀態(tài)最終都轉(zhuǎn)移到第三種狀態(tài),因而這樣的鏈?zhǔn)俏真?。注吸收鏈?/p>

6、特征是：任一狀態(tài)一旦進(jìn)入該狀態(tài)就將停留在該狀態(tài)。含有個(gè)吸收狀態(tài)和非吸收狀態(tài)的吸收鏈的狀態(tài)轉(zhuǎn)移概率矩陣的標(biāo)準(zhǔn)形式是其中是單位矩陣。定理3對(duì)于具有標(biāo)準(zhǔn)形式的狀態(tài)轉(zhuǎn)移概率矩陣，有如下的性質(zhì)：⑴矩陣具有零極限，即⑵矩陣可逆且⑶記則矩陣的第行元素之和值是從非吸收狀態(tài)出發(fā)被某個(gè)吸收狀態(tài)吸收之前的平均轉(zhuǎn)移次數(shù)。⑷記則矩陣的元素是從非吸收狀態(tài)出發(fā)而被狀態(tài)吸收的概率。在前面的例2中,將改寫成則則應(yīng)用基因遺傳問題生物的外部特征是由生物體內(nèi)的基因決定的。基因分優(yōu)勢(shì)與劣勢(shì)基因兩種。分別表示為對(duì)于生物的某個(gè)外部特征，體內(nèi)有兩個(gè)基因與之對(duì)應(yīng)。由于體內(nèi)的每個(gè)基因都可以是兩種基因

7、之一，因此體內(nèi)的基因?qū)︻愋涂赡苡腥N：分別被稱為優(yōu)種、混種和劣種。按基因理論：含優(yōu)種和混種的基因個(gè)體類型，其外部特征呈優(yōu)勢(shì)；而含劣勢(shì)基因類型的個(gè)體，其外部特征呈劣勢(shì)。生物在繁殖時(shí)，后代隨機(jī)地繼承父親和母親的兩個(gè)基因中的各一個(gè)而形成自己的基因?qū)ΑＲ虼撕蟠蔀閮?yōu)種、劣種、混種基因類型的概率是不同的。下面討論兩種基因繁殖后代的情況一、永遠(yuǎn)與混種繁殖后代的情況假設(shè)一個(gè)個(gè)體是優(yōu)種，而另一個(gè)個(gè)體是混種，則它們的直接后代成為優(yōu)種、混種、劣種的概率分別為假設(shè)一個(gè)個(gè)體是混種，而另一個(gè)個(gè)體是混種，則它們的直接后代成為優(yōu)種、混種、劣種的概率分別為假設(shè)一個(gè)個(gè)體是劣種，而另

8、一個(gè)個(gè)體是混種，則它們的直接后代成為優(yōu)種、混種、劣種的概率分別為由此得到概率轉(zhuǎn)移矩陣由前面的例2知該鏈為正則鏈，極限狀態(tài)概