數理統(tǒng)計與隨機過程馬爾科夫鏈

《數理統(tǒng)計與隨機過程馬爾科夫鏈》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、數理統(tǒng)計與隨機過程第十一章主講教師：程維虎教授北京工業(yè)大學應用數理學院第十一章馬爾可夫鏈本章首先從隨機過程在不同時刻狀態(tài)之間的特殊的統(tǒng)計聯(lián)系，引入馬爾可夫(Markoff)過程的概念。然后，對馬爾可夫鏈(狀態(tài)、時間都是離散的馬爾可夫過程)的兩個基本問題，即轉移概率的確定以及遍歷性問題作不同程度的研究和介紹。馬爾可夫過程的理論在近代物理、生物學、管理科學、經濟、信息處理以及數字計算方法等方面都有重要應用?！?1.1馬爾可夫過程及其概率分布在物理學中，很多確定性現(xiàn)象遵從如下演變原則：由時刻t0系統(tǒng)或過程所處的狀態(tài)，可以決定系統(tǒng)或過程在

2、時刻t>t0所處的狀態(tài)，而無需借助于t0以前系統(tǒng)或過程所處狀態(tài)的歷史資料。如微分方程問題所描繪的物理過程就屬于這類確定性現(xiàn)象。把上述原則延伸到隨機現(xiàn)象，即當一物理系統(tǒng)或過程遵循的是某種統(tǒng)計規(guī)律時，可仿照上面的原則，引入以下的馬爾可夫性或無后效性：過程(或系統(tǒng))在時刻t0所處的狀態(tài)為已知的條件下，過程在時刻t>t0所處狀態(tài)的條件分布與過程在t0之前所處的狀態(tài)無關。通俗地說，就是在已經知道過程“現(xiàn)在”的條件下，其“將來”不依賴于“過去”?，F(xiàn)用分布函數來表述馬爾可夫性.設隨機過程{X(t),t∈T}的狀態(tài)空間為I。如果對時間t的任意n個

3、數值t1

4、當0

5、n=0,1,2,…}，它可以看作在時間集T1={0,1,2,…}上對離散狀態(tài)的馬氏過程相繼觀察的結果.我們約定記鏈的狀態(tài)空間I={a1,a2,…},ai∈R。在鏈的情形，馬爾可夫性通常用條件分布律來表示，即對任意的正整數n,r和0≤t1

6、，必然轉移到a1,a2,…諸狀態(tài)中的某一個，所以(1.4)由轉移概率組成的矩陣P(m,m+n)=(Pij(m,m+n))稱為馬氏鏈的轉移概率矩陣。由(1.4)式知，此矩陣的每一行元之和等于1。當轉移概率Pij(m,m+n)只與i,j及時間間距n有關時，把它記為Pij(n)，即Pij(m,m+n)=Pij(n)并稱此轉移概率具有平穩(wěn)性。同時也稱此鏈是齊次的或時齊的。以下我們限于討論齊次馬氏鏈。在馬氏鏈為齊次的情形下，由(1.3)式定義的轉移概率Pij(n)=P{Xm+n=aj∣Xm=ai}稱為馬氏鏈的n步轉移概率，P(n)=(Pij

7、(n))為n步轉移概率矩陣。在以下的討論中特別重要的是一步轉移概率Pij=Pij(1)=P{Xm+1=aj∣Xm=ai}或由它們組成的一步轉移概率矩陣在上述矩陣的左側和上邊標上狀態(tài)a1,a2,…是為了顯示Pij是由狀態(tài)ai經一步轉移到狀態(tài)aj的概率。例2（0-1傳輸系統(tǒng)）在如下圖只傳傳輸數字0和1的串聯(lián)系統(tǒng)中，設每一級的傳真率（輸出與輸入數字相同的概率稱為系統(tǒng)的傳真率，相反情形稱為誤碼率）為p，誤碼率為q=1-p，并設一個單位時間傳輸一級，X0是第一級的輸入，Xn是第n級的輸出(n≥1)，那么{Xn,n=0,1,2,…}是一隨機過

8、程，狀態(tài)空間I={0,1}，而且當Xn=i,i∈I為已知時,Xn+1所處的狀態(tài)的概率分布只與Xn=i有關，而與時刻n以前所處的狀態(tài)無關，所以它是一個馬氏鏈，而且還是齊次的。它的一步轉移概率和一步轉移概率分別為和例2一維隨機游動設一醉漢Q在如下圖所示