2第二章 統(tǒng)計推斷與貝葉斯預測

《2第二章 統(tǒng)計推斷與貝葉斯預測》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、統(tǒng)計信號分析與處理機電學院通信工程系2009年11月侯強2021/9/81第二章統(tǒng)計推斷與貝葉斯預測2021/9/82第二章統(tǒng)計推斷與貝葉斯預測2.1引言與導學2.2貝葉斯估計基礎---想法2.3貝葉斯估計---評價2.4期望-最大方法---算法2.5高斯混合模型的設計---算法2.6貝葉斯分類---應用2.7隨機過程空間的建模---提高2021/9/83本章首先給出一個關于參數估計理論基本概念的介紹。（想法）然后介紹用于定量評價估計量性能的統(tǒng)計測度。我們主要研究貝葉斯估計方法，考慮在估計均值與方差中使用先驗模型的效果。（評價）研究從不完整數據中估計一組

2、未知參數的期望最大（EM）方法，并將其應用于連續(xù)隨機變量的高斯混合模型空間。（算法）本章最后以離散或有限狀態(tài)信號的貝葉斯分類結束，并介紹K-均值聚類方法。本章思路：想法---算法---評價---應用2.1引言與導學2021/9/842021/9/852021/9/862021/9/87藍色為原始含噪語音黃色為譜相減處理的結果2021/9/88原始含噪語音自適應抗噪與譜相減相結合后的輸出結果基本自適應抗噪輸出結果2021/9/89通過語音合成來說話2021/9/810男聲“深圳廣州珠?！钡亩虝r幅度統(tǒng)計。在采樣頻率為22050Hz的情況下，取20ms作為一幀

3、，幀長為441點，一共統(tǒng)計了180幀。短時平均幅度原始語音2021/9/811音樂信號的分離CEG基頻CE基頻C基頻和弦CEG2021/9/812GMM的例子例：一個班級每個學生的身高為假設男生和女生的身高分別服從高斯分布則其中為男生的比例，問題：給定獨立同分布(independentandidenticallydistributed----IID)的數據，求參數混合模型的參數估計是EM(ExpectationMaximization)算法最典型的應用2021/9/8132021/9/814估計理論主要研究從觀測信號中最優(yōu)地估計出參數矢量的問題，或者研究

4、從被噪聲污染或退化的信號中恢復出純凈信號的方法。例如，給定一個正弦信號波形，我們可能需要估計其基本參數（如幅度、頻率和相位），或者我們可能希望恢復信號本身。2.2貝葉斯估計基礎2021/9/815估計量通常以帶噪信號或不完整觀測作為輸入，并且采用動態(tài)模型（如線性預測模型）和/或過程的概率模型（如高斯模型）來估計未知的參數，即估計量是一個系統(tǒng)，而被估計的參數是此次系統(tǒng)的輸出。估計的精度取決于可以使用的信息和估計方法的有效性。本章主要研究平穩(wěn)參數的貝葉斯估計問題。關于非平穩(wěn)有限狀態(tài)過程的建模與估計問題將在下面的章節(jié)研究。2.2貝葉斯估計基礎2021/9/81

5、62021/9/8172021/9/818貝葉斯理論是一個基本的統(tǒng)計推斷框架。在過程狀態(tài)的估計與預測中，貝葉斯方法主要利用兩種信息:其一是包含在觀測信號中的事實;其二是過程分布的先驗知識。圖2.1給出了貝葉斯方法作為主要統(tǒng)計估計方法的基本框架。2.2貝葉斯估計基礎2021/9/8192.2貝葉斯估計基礎圖2.1貝葉斯推斷包含一個代價函數，一個先驗函數和一個似然函數。其他估計方法可以被認為是貝葉斯估計的特例2021/9/8202021/9/8212.2.1估計的動態(tài)模型和概率模型最優(yōu)估計算法常采用觀測信號的動態(tài)模型和概率模型。動態(tài)預測模型利用信號的相關結構

6、信息，根據信號的過去狀態(tài)和輸入激勵對信號當前值與將來值的依賴關系進行建模。采用動態(tài)模型進行估計的例子包括線性預測模型和卡爾曼濾波器。統(tǒng)計概率模型依據均值和方差這樣的統(tǒng)計量來表現信號隨機波動空間的特性，為了描述得更完整，則需要采用概率模型。條件概率模型除了對信號的隨機波動建模以外，也用于表示信號對其過去狀態(tài)和其他過程的依賴情況。動態(tài)模型和概率模型可以進行組合：例如，一個有限狀態(tài)模型可以通過隱馬爾可夫模型（HMM）和卡爾曼濾波器的組合來構造。2021/9/8222.2.1估計的動態(tài)模型和概率模型2021/9/823隨機過程的預測模型和概率模型引導估計結果朝著

7、與模型參數和觀測信號的先驗分布相一致的方向發(fā)展。一般來說，只要所使用的模型能夠準確代表觀測數據和參數過程的特征，則估計中所使用的信息量越多，估計的結果會越好。其缺點是，如果模型是不準確的，則所引起的負面效應要超過其正面效果。2021/9/8242.2.2參數空間與信號空間2021/9/8252.2.2參數空間與信號空間2021/9/8262.2.2參數空間與信號空間2021/9/8272.2.3參數估計和信號恢復參數估計和信號恢復是密切相關的兩個問題。二者的主要區(qū)別是大多數信號往往波動較快，而大多數參數則波動較慢。例如，語音信號的波動速率大約為20kHz

8、，而相應的元音和諧音參數的變化速率則僅為100Hz。這個現象表明，在參數估計時可