隨機(jī)過(guò)程ch4-馬爾科夫鏈new

《隨機(jī)過(guò)程ch4-馬爾科夫鏈new》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、第四章馬爾可夫鏈4.1馬爾可夫鏈與轉(zhuǎn)移概率定義設(shè){X(t)，t?T}為隨機(jī)過(guò)程，若對(duì)任意正整數(shù)n及t0，且條件分11n-1n-1布P{X(t)?x

2、X(t)=x,?,X(t)=x}=nn11n-1n-1P{X(t)?x

3、X(t)=x}，則稱(chēng){X(t)，tnnn-1n-1?T}為馬爾可夫過(guò)程?！钊魌,t,?,t表示過(guò)去，t表示現(xiàn)在，t12n-2n-1n表示將來(lái)，馬爾可夫過(guò)程表明：在已知現(xiàn)在狀態(tài)的條件下，將來(lái)所處的狀態(tài)與過(guò)去狀態(tài)無(wú)關(guān)。24.1馬爾可夫鏈與轉(zhuǎn)移概率?馬爾可夫過(guò)程通常分為三類(lèi)：(

4、1)時(shí)間、狀態(tài)都是離散的，稱(chēng)為馬爾可夫鏈(2)時(shí)間連續(xù)、狀態(tài)離散的，稱(chēng)為連續(xù)時(shí)間馬爾可夫鏈(3)時(shí)間、狀態(tài)都是連續(xù)的，稱(chēng)為馬爾可夫過(guò)程34.1馬爾可夫鏈與轉(zhuǎn)移概率隨機(jī)過(guò)程{Xn，n?T}，參數(shù)T={0,1,2,?},狀態(tài)空間I={i0,i1,i2,?}定義若隨機(jī)過(guò)程{Xn，n?T}，對(duì)任意n?T和i0,i1,?,in+1?I，條件概率P{Xn+1=in+1

5、X0=i0,X1=i1,?,Xn=in}=P{Xn+1=in+1

6、Xn=in}，則稱(chēng){Xn，n?T}為馬爾可夫鏈，簡(jiǎn)稱(chēng)馬氏鏈。44.1馬爾可夫鏈與轉(zhuǎn)移概率?馬爾可夫鏈的性質(zhì)P{X=i,X=i

7、,?,X=i}0011nn=P{X=i

8、X=i,X=i,?,X=i}nn0011n-1n-1P{X=i,X=i,?,X=i}0011n-1n-1=P{X=i

9、X=i}nnn-1n-1P{X=i

10、X=i,X=i,?,X=i}n-1n-10011n-2n-2P{X=i,X=i,?,X=i}0011n-2n-2=P{X=i

11、X=i}P{X=i

12、X=i}nnn-1n-1n-1n-1n-2n-2P{X=i,X=i,?,X=i}0011n-2n-254.1馬爾可夫鏈與轉(zhuǎn)移概率=?=P{X=i

13、X=i}P{X=i

14、X=i}nnn-1n-1n-1n-1n-2n

15、-2?P{X=i

16、X=i}P{X=i}110000馬爾可夫鏈的統(tǒng)計(jì)特性完全由條件概率P{X=i

17、X=i}確定。n+1n+1nn64.1馬爾可夫鏈與轉(zhuǎn)移概率?定義稱(chēng)條件概率pij(n)=P{Xn+1=j

18、Xn=i}為馬爾可夫鏈{Xn，n?T}在時(shí)刻n的一步轉(zhuǎn)移概率，簡(jiǎn)稱(chēng)轉(zhuǎn)移概率，其中i,j?I。?定義若對(duì)任意的i,j?I，馬爾可夫鏈{Xn,n?T}的轉(zhuǎn)移概率pij(n)與n無(wú)關(guān)，則稱(chēng)馬爾可夫鏈?zhǔn)驱R次的，并記pij(n)為pij。?齊次馬爾可夫鏈具有平穩(wěn)轉(zhuǎn)移概率，系統(tǒng)狀態(tài)空間I={1,2,3,?}，系統(tǒng)狀態(tài)的一步轉(zhuǎn)移概率用轉(zhuǎn)移矩陣P表示74.1馬爾

19、可夫鏈與轉(zhuǎn)移概率?p11p12?p1n?????pp?p??21222n??P?????????pm1pm2?pmn????????????轉(zhuǎn)移概率性質(zhì)p?0,i,j?I?pij?1,i?I(1)ij(2)j?I當(dāng)轉(zhuǎn)移矩陣P滿(mǎn)足（1）、（2）兩性質(zhì)時(shí)，則稱(chēng)P為隨機(jī)矩陣84.1馬爾可夫鏈與轉(zhuǎn)移概率(n)?定義稱(chēng)條件概率pij=P{Xm+n=j

20、Xm=i}為馬爾可夫鏈{X，n?T}的n步轉(zhuǎn)移概n率(i,j?I,m?0,n?1)。n(n)?n步轉(zhuǎn)移矩陣P??p?ij(n)(n)如果其中pij?0,?pij?1,i,j?Ij?IP(n)也為隨機(jī)矩陣(1

21、)(1)當(dāng)n?1時(shí),p?p,P?Pijij?0,i?j(0)當(dāng)n?0時(shí)，規(guī)定pij???1,i?j94.1馬爾可夫鏈與轉(zhuǎn)移概率?定理4.1設(shè){X，n?T}為馬爾可夫鏈，n則對(duì)任意整數(shù)n?0,0?l

22、X?i?ijm?nm??PX?

23、imP?X?i,X?k,X?j?P?X?i,X?k?mm?lm?nmm?l??k?IP?Xm?i,Xm?l?k?P?Xm?i???P?Xm?n?j

24、Xm?l?k?P?Xm?l?k

25、Xm?i?k?I(n?l)(l)(l)(n?l)??pkj(m?l)pik(m)??pikpkjk?Ik?I114.1馬爾可夫鏈與轉(zhuǎn)移概率(n)(1)(n?1)(2)在(1)中令l=1,k=k1,得pij??pik1pk1jk?I由此可遞推出公式(3)矩陣乘法(4)由(3)推出說(shuō)明：(1)此為C-K方程(切普曼-柯?tīng)柲缏宸?(2)n步轉(zhuǎn)移概率由一步轉(zhuǎn)移概率確定，n步

26、轉(zhuǎn)移概率矩陣由一步轉(zhuǎn)移概率矩陣確定(n次冪)124.1馬爾可夫鏈與轉(zhuǎn)移概率定義p?P{X?j}j0?初始概率p(n)?P{X?j}?絕對(duì)概率jn?pj