馬爾可夫鏈課件.ppt

《馬爾可夫鏈課件.ppt》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第四章馬爾可夫鏈14.1馬爾可夫鏈與轉(zhuǎn)移概率定義設(shè){X(t)，t?T}為隨機(jī)過程，若對任意正整數(shù)n及t10，且條件分布P{X(tn)?xn

2、X(t1)=x1,?,X(tn-1)=xn-1}=P{X(tn)?xn

3、X(tn-1)=xn-1}，則稱{X(t)，t?T}為馬爾可夫過程?！钊魌1,t2,?,tn-2表示過去，tn-1表示現(xiàn)在，tn表示將來，馬爾可夫過程表明：在已知現(xiàn)在狀態(tài)的條件下，將來所處的狀態(tài)與過去狀態(tài)無關(guān)。24.1馬爾可夫鏈與轉(zhuǎn)移概率馬爾可夫過程通常分為三類：(1)時

4、間、狀態(tài)都是離散的，稱為馬爾可夫鏈(2)時間連續(xù)、狀態(tài)離散的，稱為連續(xù)時間馬爾可夫鏈(3)時間、狀態(tài)都是連續(xù)的，稱為馬爾可夫過程34.1馬爾可夫鏈與轉(zhuǎn)移概率隨機(jī)過程{Xn，n?T}，參數(shù)T={0,1,2,?},狀態(tài)空間I={i0,i1,i2,?}定義若隨機(jī)過程{Xn，n?T}，對任意n?T和i0,i1,?,in+1?I，條件概率P{Xn+1=in+1

5、X0=i0,X1=i1,?,Xn=in}=P{Xn+1=in+1

6、Xn=in}，則稱{Xn，n?T}為馬爾可夫鏈，簡稱馬氏鏈。44.1馬爾可夫鏈與轉(zhuǎn)移概率馬爾可夫鏈的性質(zhì)P{X0=i0,X1=i1,?,

7、Xn=in}=P{Xn=in

8、X0=i0,X1=i1,?,Xn-1=in-1}P{X0=i0,X1=i1,?,Xn-1=in-1}=P{Xn=in

9、Xn-1=in-1}P{Xn-1=in-1

10、X0=i0,X1=i1,?,Xn-2=in-2}P{X0=i0,X1=i1,?,Xn-2=in-2}=P{Xn=in

11、Xn-1=in-1}P{Xn-1=in-1

12、Xn-2=in-2}P{X0=i0,X1=i1,?,Xn-2=in-2}54.1馬爾可夫鏈與轉(zhuǎn)移概率=?=P{Xn=in

13、Xn-1=in-1}P{Xn-1=in-1

14、Xn-2=in-2}?P{X1=i1

15、

16、X0=i0}P{X0=i0}馬爾可夫鏈的統(tǒng)計(jì)特性完全由條件概率P{Xn+1=in+1

17、Xn=in}確定。64.1馬爾可夫鏈與轉(zhuǎn)移概率定義稱條件概率pij(n)=P{Xn+1=j

18、Xn=i}為馬爾可夫鏈{Xn，n?T}在時刻n的一步轉(zhuǎn)移概率，簡稱轉(zhuǎn)移概率，其中i,j?I。定義若對任意的i,j?I，馬爾可夫鏈{Xn,n?T}的轉(zhuǎn)移概率pij(n)與n無關(guān)，則稱馬爾可夫鏈?zhǔn)驱R次的，并記pij(n)為pij。齊次馬爾可夫鏈具有平穩(wěn)轉(zhuǎn)移概率，狀態(tài)空間I={1,2,3,?}，一步轉(zhuǎn)移概率為74.1馬爾可夫鏈與轉(zhuǎn)移概率轉(zhuǎn)移概率性質(zhì)(1)(2)P稱為隨機(jī)矩陣84.

19、1馬爾可夫鏈與轉(zhuǎn)移概率定義稱條件概率=P{Xm+n=j

20、Xm=i}為馬爾可夫鏈{Xn，n?T}的n步轉(zhuǎn)移概率(i,j?I,m?0,n?1)。n步轉(zhuǎn)移矩陣其中P(n)也為隨機(jī)矩陣94.1馬爾可夫鏈與轉(zhuǎn)移概率定理4.1設(shè){Xn，n?T}為馬爾可夫鏈，則對任意整數(shù)n?0,0?l

21、普曼-柯爾莫哥洛夫)(2)n步轉(zhuǎn)移概率由一步轉(zhuǎn)移概率確定，n步轉(zhuǎn)移概率矩陣由一步轉(zhuǎn)移概率矩陣確定(n次冪)124.1馬爾可夫鏈與轉(zhuǎn)移概率初始概率絕對概率初始分布絕對分布初始概率向量絕對概率向量定義134.1馬爾可夫鏈與轉(zhuǎn)移概率設(shè){Xn，n?T}為馬爾可夫鏈，則對任意整數(shù)j?I和n?1，絕對概率pj(n)具有性質(zhì)(1)(2)(3)PT(n)=PT(0)P(n)(4)PT(n)=PT(n-1)P定理4.2144.1馬爾可夫鏈與轉(zhuǎn)移概率證(1)154.1馬爾可夫鏈與轉(zhuǎn)移概率(2)(3)(4)為(1)(2)的矩陣表示。164.1馬爾可夫鏈與轉(zhuǎn)移概率定理4.3

22、設(shè){Xn，n?T}為馬爾可夫鏈，則對任意整數(shù)i1,i2,?,in?I和n?1，有性質(zhì)證174.1馬爾可夫鏈與轉(zhuǎn)移概率例4.1無限制隨機(jī)游動qp-101ii-1i+1一步轉(zhuǎn)移概率:184.1馬爾可夫鏈與轉(zhuǎn)移概率n步轉(zhuǎn)移概率:i經(jīng)過k步進(jìn)入j,向右移了x步,向左移了y步則194.1馬爾可夫鏈與轉(zhuǎn)移概率例4.2賭徒輸光問題甲有賭資a元，乙有賭資b元，賭一局輸者給贏者1元，無和局。甲贏的概率為p，乙贏的概率為q=1-p，求甲輸光的概率。解狀態(tài)空間I={0,1,2,?,c}，c=a+bqpa-1aa+10a+b204.1馬爾可夫鏈與轉(zhuǎn)移概率設(shè)ui表示甲從狀態(tài)i

23、出發(fā)轉(zhuǎn)移到狀態(tài)0的概率，求ua顯然u0=1，uc=0(u0表示已知甲輸光情形下甲輸光的概率，uc表示已知乙輸