《馬爾可夫鏈》PPT課件

《《馬爾可夫鏈》PPT課件》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。

1、第十一章馬爾可夫鏈主要內(nèi)容：1.定義（與記號）2.轉(zhuǎn)移概率與矩陣3.遍歷性返回目錄1．馬爾可夫性的定義：⑴語言描述（一般性解釋）：由時刻系統(tǒng)的狀態(tài)，可以決定系統(tǒng)在t>時所處的狀態(tài)，而與以前系統(tǒng)的歷史狀態(tài)無關。如微分方程的定解問題。對于隨機現(xiàn)象，可以描述如下：系統(tǒng)在時刻所處的狀態(tài)為已知的條件下，系統(tǒng)在時刻t>所處狀態(tài)的條件分布與在時刻之前所處的狀態(tài)無關。⑵數(shù)學表達式：先做一些假設：隨機過程設為X(t),狀態(tài)空間I={}，任選T中n個時刻,，對應的狀態(tài)為，則的馬氏性就是這樣一個條件分布函數(shù)：=⑶馬爾可夫鏈：時間和狀態(tài)都離

2、散的馬爾可夫過程稱為馬爾可夫鏈。記為，狀態(tài)空間I=而相應的馬爾可夫性用條件分布律示如下：=2．轉(zhuǎn)移概率：記上面的條件概率為：稱為轉(zhuǎn)移概率，它表示馬氏鏈在時刻m處于狀態(tài)的條件下，經(jīng)過n步變化后，在時刻m+n處于狀態(tài)的條件概率。3．轉(zhuǎn)移概率矩陣：當上式中取遍狀態(tài)空間I時(此時假設I有限)，會得到N×N個轉(zhuǎn)移概率,它們可以組成一個N×N的矩陣，稱為轉(zhuǎn)移概率矩陣，記為它表現(xiàn)了馬氏鏈經(jīng)過n步后所有可能發(fā)生的狀態(tài)之間的轉(zhuǎn)移。由概率的規(guī)范性，容易得到P(m,m+n)的一個性質(zhì):每一行元素橫向相加等于1。4.齊次馬氏鏈：當只與步數(shù)n

3、有關，與起始時刻m無關時，稱此轉(zhuǎn)移概率具有平穩(wěn)性，或稱此鏈是齊次馬氏鏈?？梢杂洖槲覀兲貏e要掌握一步轉(zhuǎn)移概率：以及由它們組成的一步轉(zhuǎn)移概率矩陣：5．例題：例2（）：在0—1傳輸系統(tǒng)中，設每一級的傳真率為p，誤碼率為q=1-p,并設一個單位時間傳輸一級，是第一級的輸入，是第n級的輸出。那么｛｝是一個馬氏鏈，而且還是齊次的，其狀態(tài)空間I={0,1}。例3．（）一維隨機游動：設一質(zhì)點在圖示直線的點集I={1,2,3,4,5}上作隨機游動，且僅在1秒﹑2秒等時刻發(fā)生游動。游動的概率規(guī)則是：如果點Q現(xiàn)在位于點i（1

4、下一時刻各以1/3的概率向左或向右移動一格，或以1/3的概率留在原處；如果Q現(xiàn)在位于1（或5）這點上，則下一時刻就以概率1移動到2（或4）這一點上。若以表示時刻n時Q的位置,則是一齊次馬氏鏈，它的一步轉(zhuǎn)移概率矩陣為：例4．排隊模型：設服務系統(tǒng)由一個服務員和只可以容納兩個人的等侯室組成。服務規(guī)則是先到先服務，后來者需在等候室排隊。假定一個顧客到達系統(tǒng)時發(fā)現(xiàn)系統(tǒng)內(nèi)已有板有3個顧客，則該顧客即離去。設時間間隔Δt內(nèi)有一個顧客進入系統(tǒng)的概率為q,有一原來被服務的顧客離開系統(tǒng)的概率為p。又設當Δt充分小時，在這時間間隔內(nèi)多于一

5、個顧客進入或離開系統(tǒng)是不可能的。可用馬氏鏈來描述這個服務系統(tǒng)圖形例6：（續(xù)例5）已知計算機在某一時段（15分鐘）的狀態(tài)為0，問在此條件下從此時段起此計算機能連續(xù)正常工作3個時段的條件概率為多少？6．齊此馬氏鏈的有限維分布：⑴先看初始分布：是一個離散型的隨機變量，其分布律稱為初始分布，可以表為：也可以用表格式：……P……（2）再來看任意時刻n的一維分布：顯然，由規(guī)范性有：另外，可以用行向量來表示分布律：⑶初始分布律與任意時刻n的分布律之間的關系:以的各狀態(tài)值分布為劃分，運用全概率公式，即可得到：用矩陣乘法來表達如下：b

6、ack第二節(jié)多步轉(zhuǎn)移概率的確定內(nèi)容提要：1.C--K方程形式2.方程的意義3.方程的證明4.例題back1．C--K方程：設是一齊次馬氏鏈，對任意的u,vT，有：用矩陣表示即：P(u+v)=P(u)＊P(v)back2．方程的意義：如果設初始時刻s，終止時刻是s+u+v。引入中間時刻s+u，C--K方程的意義在于：“從s時刻的狀態(tài)出發(fā),經(jīng)u+v步后轉(zhuǎn)移到狀態(tài)＂這一事件等價于“從出發(fā)，先經(jīng)u步轉(zhuǎn)移到中間狀態(tài)，再從經(jīng)時段v轉(zhuǎn)移到＂的和事件。back3．證明：back例1：設是具有三個狀態(tài)0，1，2的齊次馬氏鏈，一步轉(zhuǎn)移矩

7、陣為：P=初始分布試求：例2．（1）在§1例2中，設p=0.9，求系統(tǒng)二級傳輸后的傳真率與三級傳輸后的誤碼率；（2）設初始分布，。又已知系統(tǒng)經(jīng)n級傳輸后輸出為1，問原發(fā)字符也是1的概率是多少？back第三節(jié)遍歷性主要內(nèi)容：1.舉例2.定義3.有限鏈的遍歷性充分條件4.平穩(wěn)分布5.總結6.例題back1．舉例：在上面例2中的一步轉(zhuǎn)移矩陣P=,計算其n步轉(zhuǎn)移矩陣P(n)為，它存在著極限（矩陣的兩行完全相同）back2．定義：（1）語言描述：對固定狀態(tài)j，無論鏈從什么狀態(tài)出發(fā)（即與左邊的列無關），經(jīng)過長時間的轉(zhuǎn)移后，到達狀

8、態(tài)j的概率都趨近于。這個性質(zhì)稱為遍歷性。（2）數(shù)學式子表達：或者：（與i無關）特別地，將行向量提出來，由于它構成了一個分布律，即，稱它為極限分布。back3．遍歷性的充分性條件：定理：對齊次馬氏鏈，狀態(tài)空間I=,一步轉(zhuǎn)移矩陣P(1)。如果存在正整數(shù)m，使對任意的，都有，即矩陣P(m)=中無零元素，則此鏈具有遍歷性。且其極限分布就是方程組π=πP