資源描述:
《隨機(jī)過(guò)程ch4-馬爾科夫鏈new》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、第四章馬爾可夫鏈4.1馬爾可夫鏈與轉(zhuǎn)移概率定義設(shè){X(t),t?T}為隨機(jī)過(guò)程,若對(duì)任意正整數(shù)n及t0,且條件分11n-1n-1布P{X(t)?x
2、X(t)=x,?,X(t)=x}=nn11n-1n-1P{X(t)?x
3、X(t)=x},則稱(chēng){X(t),tnnn-1n-1?T}為馬爾可夫過(guò)程?!钊魌,t,?,t表示過(guò)去,t表示現(xiàn)在,t12n-2n-1n表示將來(lái),馬爾可夫過(guò)程表明:在已知現(xiàn)在狀態(tài)的條件下,將來(lái)所處的狀態(tài)與過(guò)去狀態(tài)無(wú)關(guān)。24.1馬爾可夫鏈與轉(zhuǎn)移概率?馬爾可夫過(guò)程通常分為三類(lèi):(
4、1)時(shí)間、狀態(tài)都是離散的,稱(chēng)為馬爾可夫鏈(2)時(shí)間連續(xù)、狀態(tài)離散的,稱(chēng)為連續(xù)時(shí)間馬爾可夫鏈(3)時(shí)間、狀態(tài)都是連續(xù)的,稱(chēng)為馬爾可夫過(guò)程34.1馬爾可夫鏈與轉(zhuǎn)移概率隨機(jī)過(guò)程{Xn,n?T},參數(shù)T={0,1,2,?},狀態(tài)空間I={i0,i1,i2,?}定義若隨機(jī)過(guò)程{Xn,n?T},對(duì)任意n?T和i0,i1,?,in+1?I,條件概率P{Xn+1=in+1
5、X0=i0,X1=i1,?,Xn=in}=P{Xn+1=in+1
6、Xn=in},則稱(chēng){Xn,n?T}為馬爾可夫鏈,簡(jiǎn)稱(chēng)馬氏鏈。44.1馬爾可夫鏈與轉(zhuǎn)移概率?馬爾可夫鏈的性質(zhì)P{X=i,X=i
7、,?,X=i}0011nn=P{X=i
8、X=i,X=i,?,X=i}nn0011n-1n-1P{X=i,X=i,?,X=i}0011n-1n-1=P{X=i
9、X=i}nnn-1n-1P{X=i
10、X=i,X=i,?,X=i}n-1n-10011n-2n-2P{X=i,X=i,?,X=i}0011n-2n-2=P{X=i
11、X=i}P{X=i
12、X=i}nnn-1n-1n-1n-1n-2n-2P{X=i,X=i,?,X=i}0011n-2n-254.1馬爾可夫鏈與轉(zhuǎn)移概率=?=P{X=i
13、X=i}P{X=i
14、X=i}nnn-1n-1n-1n-1n-2n
15、-2?P{X=i
16、X=i}P{X=i}110000馬爾可夫鏈的統(tǒng)計(jì)特性完全由條件概率P{X=i
17、X=i}確定。n+1n+1nn64.1馬爾可夫鏈與轉(zhuǎn)移概率?定義稱(chēng)條件概率pij(n)=P{Xn+1=j
18、Xn=i}為馬爾可夫鏈{Xn,n?T}在時(shí)刻n的一步轉(zhuǎn)移概率,簡(jiǎn)稱(chēng)轉(zhuǎn)移概率,其中i,j?I。?定義若對(duì)任意的i,j?I,馬爾可夫鏈{Xn,n?T}的轉(zhuǎn)移概率pij(n)與n無(wú)關(guān),則稱(chēng)馬爾可夫鏈?zhǔn)驱R次的,并記pij(n)為pij。?齊次馬爾可夫鏈具有平穩(wěn)轉(zhuǎn)移概率,系統(tǒng)狀態(tài)空間I={1,2,3,?},系統(tǒng)狀態(tài)的一步轉(zhuǎn)移概率用轉(zhuǎn)移矩陣P表示74.1馬爾
19、可夫鏈與轉(zhuǎn)移概率?p11p12?p1n?????pp?p??21222n??P?????????pm1pm2?pmn????????????轉(zhuǎn)移概率性質(zhì)p?0,i,j?I?pij?1,i?I(1)ij(2)j?I當(dāng)轉(zhuǎn)移矩陣P滿(mǎn)足(1)、(2)兩性質(zhì)時(shí),則稱(chēng)P為隨機(jī)矩陣84.1馬爾可夫鏈與轉(zhuǎn)移概率(n)?定義稱(chēng)條件概率pij=P{Xm+n=j
20、Xm=i}為馬爾可夫鏈{X,n?T}的n步轉(zhuǎn)移概n率(i,j?I,m?0,n?1)。n(n)?n步轉(zhuǎn)移矩陣P??p?ij(n)(n)如果其中pij?0,?pij?1,i,j?Ij?IP(n)也為隨機(jī)矩陣(1
21、)(1)當(dāng)n?1時(shí),p?p,P?Pijij?0,i?j(0)當(dāng)n?0時(shí),規(guī)定pij???1,i?j94.1馬爾可夫鏈與轉(zhuǎn)移概率?定理4.1設(shè){X,n?T}為馬爾可夫鏈,n則對(duì)任意整數(shù)n?0,0?l22、X?i?ijm?nm??PX?
23、imP?X?i,X?k,X?j?P?X?i,X?k?mm?lm?nmm?l??k?IP?Xm?i,Xm?l?k?P?Xm?i???P?Xm?n?j
24、Xm?l?k?P?Xm?l?k
25、Xm?i?k?I(n?l)(l)(l)(n?l)??pkj(m?l)pik(m)??pikpkjk?Ik?I114.1馬爾可夫鏈與轉(zhuǎn)移概率(n)(1)(n?1)(2)在(1)中令l=1,k=k1,得pij??pik1pk1jk?I由此可遞推出公式(3)矩陣乘法(4)由(3)推出說(shuō)明:(1)此為C-K方程(切普曼-柯?tīng)柲缏宸?(2)n步轉(zhuǎn)移概率由一步轉(zhuǎn)移概率確定,n步
26、轉(zhuǎn)移概率矩陣由一步轉(zhuǎn)移概率矩陣確定(n次冪)124.1馬爾可夫鏈與轉(zhuǎn)移概率定義p?P{X?j}j0?初始概率p(n)?P{X?j}?絕對(duì)概率jn?pj