資源描述：
《11.3 馬 氏 鏈》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。
1、§11.3馬氏鏈一、馬氏過程馬爾科夫過程是由前蘇聯(lián)數學家A.A.Markov首先提出和研究的一類隨機過程,已成為內容豐富,理論較完善,應用十分廣泛的一門數學分支,應用涉及計算機、自動控制、通信、生物學、經濟、氣象、物理、化學等等領域.電子科技大學系統(tǒng)特征在已知系統(tǒng)現在所處狀態(tài)下,系統(tǒng)將來的演變規(guī)律與過去無關,稱為無后效性.例如生物基因遺傳從這一代到下一代的轉移僅依賴當代而與以往各代無關；某公司的經營狀況具有無后效性；評估一個計算機系統(tǒng)的性能時,系統(tǒng)將來的狀態(tài)取決于目前所處的狀態(tài)，而無需考慮過去的狀
2、態(tài)情況；電子科技大學定義11.3.1隨機過程{ξ(t),t∈T},如果對于任意取定參數t13、技大學二、馬爾科夫鏈馬爾科夫鏈的理論系統(tǒng)而深入，在自然科學、工程技術及經濟管理各領域有廣泛的應用.定義11.3.2設{ξ(n),n≥0}為隨機變量序列,狀態(tài)空間E={0,1,2,…},若對任意非負整數m,l,k及s14、ξ(s1)=is1,…,ξ(sl)=isl,…,ξ(m)=im}=P{ξ(m+k)=im+k
5、ξ(m)=im}電子科技大學成立,稱{ξ(n),n≥0}為離散參數馬氏鏈.稱條件概率為馬氏鏈在m時刻的k步轉移概率.特別稱為一步轉移概率.表示
6、在時刻m時ξ(m)取i值的條件下，在下一時刻m+1時,ξ(m+1)取j值的概率.電子科技大學記稱為馬氏鏈在m時刻的k步轉移概率矩陣,稱P(m,1)為轉移概率矩陣.轉移矩陣滿足以下條件:電子科技大學123狀態(tài)空間E={1,2,3},X(m)為第m次觀察時老鼠所處位置,記EX.11.3.1迷宮問題定時觀察老鼠位于哪一個房間？電子科技大學根據全概率公式，對j=1,2,3有在時刻m,老鼠處于各狀態(tài)的概率只與第m－1次時所處狀態(tài)與轉移概率有關，而與第m－1次前的狀態(tài)無關.老鼠的隨機轉移狀態(tài)運動過程是一個馬氏
7、鏈.電子科技大學三、齊次馬氏鏈定義11.3.3若馬氏鏈{ξ(n),n≥0}的一步轉移概率與起始時刻無關，即對任意m稱ξ(n)為齊次馬氏鏈,一步概率轉移矩陣為與m無關電子科技大學矩陣中每個元素為非負數,且每行之和均為1.定義11.3.4稱矩陣A=(aij)為隨機矩陣,若凡滿足以上兩條的行向量稱為概率向量.轉移概率矩陣P是隨機矩陣.轉移概率矩陣P的行向量都是概率向量.電子科技大學EX11.3.2在某數字通信系統(tǒng)中傳0和1兩種信號,且傳遞要經過多級.若每級由于噪聲的存在,送出0，1信號的失真概率均為p(
8、09、釘板內,小球各以的概率向左或向右移動一格.EX11.3.4隨機游動(高爾頓釘板試驗)電子科技大學P{ξ(k)=i}－11ξ(k)隨機游動n步所處的狀態(tài)狀態(tài)空間,有{Y(n),n∈N}是馬氏過程.電子科技大學更進一步，因對任意m有即馬氏鏈{Y(n),n∈N}的一步轉移概率與起始時刻無關，是齊次馬氏鏈.轉移矩陣為電子科技大學定義11.3.5給定齊次馬氏鏈{ξ(n),n≥0},記πi(n)=P{ξ(n)=i},i∈E稱行向量π(0)={π0(0),π1(0),…,πi(0),…}為馬氏鏈的初始(概率)分
10、布稱行向量π(n)={π0(n),π1(n),…,πi(n),…}為馬氏鏈的絕對(概率)分布.定理11.3.1齊次馬氏鏈的絕對分布和有限維分布由初始分布和一步轉移矩陣所完全確定.電子科技大學證由全概率公式及齊次馬氏性知或絕對分布初始分布電子科技大學由{ξ(n),n≥0}的齊次性,以上各轉移概率均可利用C－K方程，由一步轉移概率求出.有限維分布為電子科技大學四、切普曼－柯爾莫哥洛夫方程定理11.3.馬氏鏈{ξ(n),n≥0}的k步轉移概率滿足切普曼－柯爾莫哥洛夫方程分析：電子科技大學
