最大似然估計(jì)和貝葉斯參數(shù)估計(jì)

《最大似然估計(jì)和貝葉斯參數(shù)估計(jì)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、Chapter3:最大似然估計(jì)和貝葉斯參數(shù)估計(jì)要點(diǎn)：重點(diǎn)掌握最大似然估計(jì)和貝葉斯參數(shù)估計(jì)的原理;熟練掌握主成分分析和Fisher線性分析;掌握隱馬爾可夫模型;了解維數(shù)問(wèn)題;貝葉斯框架下的數(shù)據(jù)收集在以下條件下我們可以設(shè)計(jì)一個(gè)可選擇的分類器:P(?i)(先驗(yàn))P(x

2、?i)(類條件密度)不幸的是，我們極少能夠完整的得到這些信息!從一個(gè)傳統(tǒng)的樣本中設(shè)計(jì)一個(gè)分類器先驗(yàn)估計(jì)不成問(wèn)題對(duì)類條件密度的估計(jì)存在兩個(gè)問(wèn)題：1）樣本對(duì)于類條件估計(jì)太少了；2）特征空間維數(shù)太大了，計(jì)算復(fù)雜度太高。13.1引言如果可以將類條件密度參數(shù)化，則可以顯著降低難度。例如：P(x

3、?i)的正

4、態(tài)性P(x

5、?i)~N(?i,?i)用兩個(gè)參數(shù)表示將概率密度估計(jì)問(wèn)題轉(zhuǎn)化為參數(shù)估計(jì)問(wèn)題。估計(jì)最大似然估計(jì)(ML)和貝葉斯估計(jì)；結(jié)果通常很接近,但是方法本質(zhì)是不同的。最大似然估計(jì)將參數(shù)看作是確定的量，只是其值是未知!通過(guò)最大化所觀察的樣本概率得到最優(yōu)的參數(shù)—用分析方法。貝葉斯方法把參數(shù)當(dāng)成服從某種先驗(yàn)概率分布的隨機(jī)變量，對(duì)樣本進(jìn)行觀測(cè)的過(guò)程，就是把先驗(yàn)概率密度轉(zhuǎn)化成為后驗(yàn)概率密度，使得對(duì)于每個(gè)新樣本，后驗(yàn)概率密度函數(shù)在待估參數(shù)的真實(shí)值附近形成最大尖峰。在這兩種方法中，我們都用后驗(yàn)概率P(?i

6、x)表示分類準(zhǔn)則!當(dāng)樣本數(shù)目增加時(shí)，收斂性質(zhì)會(huì)更好；比其他可選擇

7、的技術(shù)更加簡(jiǎn)單。假設(shè)有c類樣本，并且1）每個(gè)樣本集的樣本都是獨(dú)立同分布的隨機(jī)變量；2）P(x

8、?j)形式已知但參數(shù)未知，例如P(x

9、?j)~N(?j,?j)；3）記P(x

10、?j)?P(x

11、?j,?j)，其中3.2最大似然估計(jì)最大似然估計(jì)的優(yōu)點(diǎn)：3.2.1基本原理使用訓(xùn)練樣本提供的信息估計(jì)?=(?1,?2,…,?c),每個(gè)?i(i=1,2,…,c)只和每一類相關(guān)。假定D包括n個(gè)樣本,x1,x2,…,xn?的最大似然估計(jì)是通過(guò)定義最大化P(D

12、?)的值“?值與實(shí)際觀察中的訓(xùn)練樣本最相符”22最優(yōu)估計(jì)令?=(?1,?2,…,?p)t并令??為梯度算子thegr

13、adientoperator我們定義l(?)為對(duì)數(shù)似然函數(shù)：l(?)=lnP(D

14、?)新問(wèn)題陳述:求解?為使對(duì)數(shù)似然最大的值對(duì)數(shù)似然函數(shù)l(?)顯然是依賴于樣本集D,有：最優(yōu)求解條件如下:令:來(lái)求解.P(xk

15、?)~N(?,?)(樣本從一組多變量正態(tài)分布中提取)這里?=?，因此:?的最大似然估計(jì)必須滿足:23.2.3高斯情況：?未知乘?并且重新排序,我們得到:即訓(xùn)練樣本的算術(shù)平均值!結(jié)論:如果P(xk

16、?j)(j=1,2,…,c)被假定為d維特征空間中的高斯分布;然后我們能夠估計(jì)向量?=(?1,?2,…,?c)t從而得到最優(yōu)分類!2未知?和?，對(duì)于單樣本

17、xk?=(?1,?2)=(?,?2)3.2.3高斯情況：?和?均未知對(duì)于全部樣本，最后得到:聯(lián)合公式(1)和(2),得到如下結(jié)果:2?2的最大似然估計(jì)是有偏的（漸進(jìn)無(wú)偏估計(jì)）?的一個(gè)基本的無(wú)偏估計(jì)是:23.2.4偏差估計(jì)模型錯(cuò)誤會(huì)怎么樣？達(dá)不到最優(yōu)！在最大似然估計(jì)中?被假定為固定值在貝葉斯估計(jì)中?是隨機(jī)變量目標(biāo):計(jì)算P(?i

18、x,D)假設(shè)樣本為D，貝葉斯方程可以寫成：3.3貝葉斯估計(jì)3.3.1類條件密度因此，核心工作就是要估計(jì)先驗(yàn)概率通?？梢允孪全@得，因此每個(gè)樣本只依賴于所屬的類，有：故：即：只要在每類中，獨(dú)立計(jì)算就可以確定x的類別。假設(shè)的形式已知,參數(shù)

19、?的值未知，因此條件概率密度是知道的；假設(shè)參數(shù)?是隨機(jī)變量，先驗(yàn)概率密度函數(shù)p(?)已知，利用貝葉斯公式可以計(jì)算后驗(yàn)概率密度函數(shù)p(?

20、D)；希望后驗(yàn)概率密度函數(shù)p(?

21、D)在?的真實(shí)值附件有非常顯著的尖峰，則可以使用后驗(yàn)密度p(?

22、D)估計(jì)?；3.3.2參數(shù)的分布注意到3.3.2參數(shù)的分布如果p(?

23、D)在某個(gè)值附件有非常顯著的尖峰，則即:如果條件概率密度具有一個(gè)已知的形式，則利用已有的訓(xùn)練樣本，就能夠通過(guò)p(?

24、D)對(duì)p(x

25、D)進(jìn)行估計(jì)。單變量情形的p(?

26、D)3.4貝葉斯參數(shù)估計(jì):高斯過(guò)程復(fù)制密度結(jié)論:貝葉斯學(xué)習(xí)單變量情形的p(x

27、D)多變量情形

28、:復(fù)制密度其中僅μ未知.多變量學(xué)習(xí)3.5貝葉斯參數(shù)估計(jì)：一般理論p(x

29、D)的計(jì)算可推廣于所有能參數(shù)化未知密度的情況中，基本假設(shè)如下:假定p(x

30、?)的形式已知，但是?的值未知。?被假定為滿足一個(gè)已知的先驗(yàn)密度P(?)其余的?的信息包含在集合D中，其中D是由n維隨機(jī)變量x1,x2,…,xn組成的集合，它們服從于概率密度函數(shù)p(x)。基本的問(wèn)題是:計(jì)算后驗(yàn)密度p(?

31、D)，然后推導(dǎo)出p(x

32、D)。問(wèn)題:p(x

33、D)是否能收斂到p(x)，計(jì)算復(fù)雜度如何？(49)(50)(51)遞歸貝葉斯學(xué)習(xí)該過(guò)程稱為參數(shù)估計(jì)的遞歸貝葉斯方法，一種增量學(xué)習(xí)方法。因?yàn)?所以:令

34、:例1：遞歸貝葉斯學(xué)習(xí)例1：遞歸貝葉斯學(xué)習(xí)例1:Bayesvs.ML唯一性問(wèn)題p