2、時(shí)間中過(guò)程未離開狀態(tài)i，問在隨后的t個(gè)單位時(shí)間中過(guò)程仍不離開狀態(tài)i的概率是多少？無(wú)記憶性一個(gè)連續(xù)時(shí)間的馬爾可夫鏈，每當(dāng)它進(jìn)入狀態(tài)i，具有如下性質(zhì)：在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時(shí)間服從參數(shù)為vi的指數(shù)分布；當(dāng)過(guò)程離開狀態(tài)i時(shí)，接著以概率pij進(jìn)入狀態(tài)j，當(dāng)vi=∞時(shí)，稱狀態(tài)i為瞬時(shí)狀態(tài)；當(dāng)vi＝0時(shí)，稱狀態(tài)i為吸收狀態(tài)。對(duì)于指數(shù)分布的隨機(jī)變量X定理5.1：齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率具有下列性質(zhì)：證明正則性條件證明:定義5.3對(duì)于任一t≥0，記為絕對(duì)概率和初始概率。分別稱{pj(t),j∈I}和{pj,j∈I}為齊次馬爾可夫過(guò)程的絕對(duì)概率分布和初始概率分布。定理5.
3、2齊次馬爾可夫過(guò)程的絕對(duì)概率及有限維概率分布具有下列性質(zhì)：例題5.1：證明:泊松過(guò)程{X(t)}為連續(xù)時(shí)間齊次馬爾可夫鏈。(1)先證明馬氏性(2)再證明齊次性Q矩陣和柯爾莫哥洛夫方程引理5.1設(shè)齊次馬爾可夫過(guò)程滿足正則性條件，則對(duì)于任意固定的i,j∈I，pij(t)是t的一致連續(xù)函數(shù)。定理5.3設(shè)pij(t)是齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率且滿足正則性條件，則下列極限存在：稱為轉(zhuǎn)移速率或跳躍強(qiáng)度Q矩陣和柯爾莫哥洛夫方程若連續(xù)時(shí)間齊次馬爾可夫鏈?zhǔn)蔷哂杏邢逘顟B(tài)空間I={1,2,…,n}，則其轉(zhuǎn)移速率可構(gòu)成以下形式的矩陣Q矩陣的每一行元素之和為0，對(duì)角線元素為負(fù)或0，其余qi
4、j≥0利用Q矩陣可以推出任意時(shí)間間隔t的轉(zhuǎn)移概率所滿足的方程組，從而可以求解轉(zhuǎn)移概率。定理5.4（柯爾莫哥洛夫向后方程）假設(shè)，則對(duì)一切i,j及t≥0，有證明由C-K方程可以知道：兩邊除以h，取極限可以得到：即定理5.5（柯爾莫哥洛夫向前方程）在適當(dāng)?shù)恼齽t條件下，則對(duì)一切i,j及t≥0，有利用Kolmogorov向后方程或向前方程及下述初始條件，可以解得pij(t)柯爾莫哥洛夫向后和向前方程的矩陣表達(dá)形式為連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率的求解問題就是矩陣微分方程的求解問題，其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣Q決定。柯爾莫哥洛夫向后方程的矩陣表達(dá)形式為例題5.2考慮兩個(gè)狀態(tài)的連續(xù)
5、時(shí)間馬爾可夫鏈，在轉(zhuǎn)移到狀態(tài)1之前在狀態(tài)0停留的時(shí)間是參數(shù)為λ的指數(shù)變量，而在回到狀態(tài)0之前它停留在狀態(tài)1的時(shí)間是參數(shù)為?的指數(shù)分布，求轉(zhuǎn)移概率P00(t),P01(t),P10(t),P11(t)。向前方程：解：當(dāng)h趨于0時(shí)同理：可求平穩(wěn)分布和絕對(duì)概率分布Kolmogorov向后和向前方程所求得的解pij(t)是相同的在實(shí)際應(yīng)用中，當(dāng)固定最后所處狀態(tài)j，研究pij(t)時(shí)（i=0,1,…），采用向后方程較方便；當(dāng)固定狀態(tài)i，研究pij(t)時(shí)（j=0,1,…），采用向前方程較方便；定理5.6齊次馬爾可夫過(guò)程在t時(shí)刻處于狀態(tài)j∈I的絕對(duì)概率pj(t)滿足下列方程定義
6、5.4設(shè)pij(t)為連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率，若存在時(shí)刻t1和t2，使得則稱狀態(tài)i和j是互通的。若所有狀態(tài)都是互通的，則稱此馬爾可夫鏈為不可約的。轉(zhuǎn)移概率pij(t)在t→∞時(shí)的性質(zhì)及其平穩(wěn)分布關(guān)系定理5.7設(shè)連續(xù)時(shí)間的馬爾可夫鏈?zhǔn)遣豢杉s的，則有下列性質(zhì)：若它是正常返的，則極限存在且等于πj＞0，j∈I。這里πj是方程組的唯一非負(fù)解，此時(shí)稱{πj,j∈I}是該過(guò)程的平穩(wěn)分布，并且有若它是零常返的或非常返的，則例題5.3：機(jī)器維修問題設(shè)例題5.2中狀態(tài)0代表某機(jī)器正常工作，狀態(tài)1代表機(jī)器出故障。狀態(tài)轉(zhuǎn)移概率與例題5.2相同，即在h時(shí)間內(nèi)，及其從正常工作變?yōu)槌龉收?/p>
7、的概率為p01(h)=λh+o(h)；在h時(shí)間內(nèi)，機(jī)器從有故障變?yōu)榻?jīng)修復(fù)后正常工作的概率為p10(h)=?h+o(h)，試求在t=0時(shí)正常工作的機(jī)器，在t=5時(shí)為正常工作的概率。5.3生滅過(guò)程設(shè)齊次馬爾可夫過(guò)程的狀態(tài)空間為轉(zhuǎn)移概率為,如果：則稱為生滅過(guò)程.其中為出生率，為純滅過(guò)程。為死亡率，為純生過(guò)程。
