隱馬爾可夫模型綜述

《隱馬爾可夫模型綜述》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、隱馬爾可夫模型綜述于江德摘　要：隱馬爾可夫模型是一種有著廣泛應(yīng)用的統(tǒng)計模型，它是在馬爾可夫模型基礎(chǔ)上發(fā)展起來的。本文首先簡要介紹了馬爾可夫模型，然后對隱馬爾可夫模型的基本概念、一般形式、三個基本問題及其解決算法進(jìn)行了詳細(xì)介紹，最后就隱馬爾可夫模型的應(yīng)用及當(dāng)前研究的熱點(diǎn)、難點(diǎn)進(jìn)行了論述。關(guān)鍵字：馬爾可夫模型；隱馬爾可夫模型；前向算法；后向算法；韋特比算法1引言隱馬爾可夫模型（HiddenMarkovModel，簡稱HMM）是一種用參數(shù)表示，用于描述隨機(jī)過程統(tǒng)計特性的概率模型，它是在馬爾可夫模型基礎(chǔ)上發(fā)展起來的。早在20世紀(jì)的60年代末和70年代初，HMM的

2、基本理論就由Baum等人建立起來了，并由卡耐基－梅隆大學(xué)（CMU）的Baker和IBM的Jelinek等人將其應(yīng)用到語音識別之中，取得了很大的成功[1]。但是，HMM引起世界各國從事語音處理研究的學(xué)者們廣泛關(guān)注，并成為語音識別系統(tǒng)中構(gòu)建統(tǒng)計模型的重要手段，卻是20世紀(jì)80年代中期以后的事情，究其原因主要有兩個[1]：首先，HMM理論起先發(fā)表在數(shù)學(xué)雜志上，并未被很多從事語音處理研究的工程技術(shù)人員獲悉。其次，HMM首次應(yīng)用于語音處理時，并沒有提供足夠的一般性介紹，從而使得多數(shù)研究人員無法理解其基本理論并將其應(yīng)用到自己所從事的研究中去。直到1983年以后，Be

3、ll實(shí)驗(yàn)室的Rabiner等人發(fā)表了很有影響的一系列系統(tǒng)介紹HMM的理論和應(yīng)用的文章[1]上述狀況才得以根本改變。從上世紀(jì)80年代末開始，馬爾可夫模型和隱馬模型除了在語音識別領(lǐng)域繼續(xù)得到廣泛應(yīng)用外，從上世紀(jì)90年代初到現(xiàn)在，HMM開始用到許多新的領(lǐng)域，如：自然語言處理領(lǐng)域的詞性標(biāo)注（Part-of-speechTagging）[2～7]、命名實(shí)體識別[8]、特定信息抽取[9,10]、詞法分析等；生物信息學(xué)中HMM被廣泛用來分析基因序列[2,11]等。由于HMM是建立在馬爾可夫模型基礎(chǔ)之上的，因此，本文首先簡要介紹馬爾可夫模型，然后對隱馬爾可夫模型的基本概

4、念、一般形式、三個基本問題及其解決算法進(jìn)行詳細(xì)介紹，最后就隱馬爾可夫模型的應(yīng)用及當(dāng)前研究的熱點(diǎn)、難點(diǎn)進(jìn)行論述。2馬爾可夫模型馬爾可夫模型最早是由AndreiA.Markov于1913年提出的[2]10,它的最初始目的是為了語言上的應(yīng)用，即為俄國文學(xué)作品中的字母序列建模，隨后馬爾可夫模型發(fā)展成了一個通用的統(tǒng)計模型。為了區(qū)別于HMM，一般把馬爾可夫模型稱為顯馬爾可夫模型（VisibleMarkovModel，簡稱VMM）。馬爾可夫模型描述了一類重要的隨機(jī)過程，該過程對應(yīng)了一個隨機(jī)變量序列（通常與時間有關(guān)），該序列滿足這樣的條件：序列中的隨機(jī)變量值只依賴于它前

5、面的隨機(jī)變量。這樣的隨機(jī)變量序列，通常稱為一個馬爾可夫鏈。在實(shí)際工作中有很多類似的系統(tǒng)，該系統(tǒng)有N個狀態(tài)S1，S2，……,SN,隨著時間的推移，該系統(tǒng)從某一狀態(tài)轉(zhuǎn)移到另一狀態(tài)。我們將在時間t的狀態(tài)記為qt。對該系統(tǒng)的描述通常需要給出系統(tǒng)的當(dāng)前狀態(tài)（時間為t的狀態(tài)）及其之前的所有狀態(tài)，這些狀態(tài)序列就構(gòu)成了隨機(jī)變量序列。綜上所述，我們可以給出馬爾可夫模型如下形式定義：假設(shè)一個取值為S={s1,s2,.,sN}的隨機(jī)變量序列X={X1,X2,.,XT}，當(dāng)該序列具有以下性質(zhì)：（1）有限視野性：即當(dāng)前狀態(tài)只與前n個狀態(tài)有關(guān),如公式2.1所示。P(qt=sj

6、qt

7、-1=si,qt-2=s,……)=P(qt=sj

8、qt-1=si,qt-2=s,…,qt-n)（2.1）如果在特定情況下，系統(tǒng)在時間t的狀態(tài)只與其在時間t-1的狀態(tài)相關(guān)，則該系統(tǒng)構(gòu)成一個離散的一階馬爾可夫鏈，公式2.1就簡化為2.2：P(qt=sj

9、qt-1=si,qt-2=s,……)=P(qt=sj

10、qt-1=si)（2.2）（2）時間不變性：即只考慮公式2.2獨(dú)立于時間t的隨機(jī)過程，也就是說對任何時間t該公式都成立。P(qt=sj

11、qt-1=si,qt-2=s,……)=P(qt=sj

12、qt-1=si)=aij1≤i，j≥N（2.3）該概率aij就稱為

13、狀態(tài)轉(zhuǎn)移概率。我們就稱該隨機(jī)變量序列為馬爾可夫鏈、或者一個馬爾可夫過程，這樣一個模型就稱為馬爾可夫模型。顯而易見一個馬爾可夫模型由以下幾個部分組成：狀態(tài)空間S={s1,s2,.,sN}隨機(jī)狀態(tài)序列變量X={X1,X2,.,XT}狀態(tài)轉(zhuǎn)移概率矩陣A={aij},1≤i≤N,1≤j≤N開始狀態(tài)向量Π={πi=P(X1=si)},1≤i≤N這樣，可以記一個馬爾可夫模型為一個四元組：λ＝{S，X，П，A}或簡寫為一個二元組：λ＝{П，A}10馬爾可夫模型也可以用狀態(tài)轉(zhuǎn)換圖來表示[2]。在這個狀態(tài)轉(zhuǎn)換圖中，每個狀態(tài)轉(zhuǎn)移用一個轉(zhuǎn)換箭頭表示，每個狀態(tài)用一個結(jié)點(diǎn)表示。每

14、個箭頭從轉(zhuǎn)換前狀態(tài)結(jié)點(diǎn)指向轉(zhuǎn)換后的狀態(tài)結(jié)點(diǎn)，箭頭上標(biāo)有狀態(tài)間轉(zhuǎn)換概率。每個結(jié)點(diǎn)的