第2章貝葉斯決策理論與統(tǒng)計(jì)判別方法ppt課件.ppt

《第2章貝葉斯決策理論與統(tǒng)計(jì)判別方法ppt課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、模式識(shí)別徐蔚然北京郵電大學(xué)信息工程學(xué)院本節(jié)和前節(jié)的關(guān)系上節(jié):基本概念階段性的總結(jié)本節(jié):概念具體化結(jié)合一種比較典型的概率分布來(lái)進(jìn)一步基于最小錯(cuò)誤貝葉斯決策分類(lèi)器的種種情況本節(jié)重點(diǎn)什么叫正態(tài)分布高斯分布的表達(dá)式如何將正態(tài)分布與基于最小錯(cuò)誤率的貝葉斯決策結(jié)合起來(lái)如何簡(jiǎn)化方式表示正態(tài)分布即時(shí)思考正態(tài)分布？正態(tài)分布是以哪一位科學(xué)家的名字命名的？正態(tài)分布又稱(chēng)什么？所謂正態(tài)分布是先驗(yàn)概率、類(lèi)條件概率密度函數(shù)、還是后驗(yàn)概率而言的？為什么正態(tài)分布假設(shè)是使用得最普遍的假設(shè)？正態(tài)分布時(shí)的統(tǒng)計(jì)決策研究正態(tài)分布的原因數(shù)學(xué)上比較簡(jiǎn)單物理上的合理性單變量正態(tài)

2、分布單變量正態(tài)分布單變量正態(tài)分布概率密度函數(shù)定義為μ表示隨機(jī)變量x的數(shù)學(xué)期望σ2為其方差，而σ則稱(chēng)為標(biāo)準(zhǔn)差。Aunivariatenormaldistributionhasroughly95%ofitsareaintherange

3、x?μ

4、≤2σ,asshown.Thepeakofthedistributionhasvaluep(μ)=1/√2πσ.單變量正態(tài)分布單變量正態(tài)分布思考:正態(tài)分布，或高斯分布是先驗(yàn)概率P(ωi)，還是分布P(X

5、ωi),還是后驗(yàn)概率P(ωi

6、X)？不是我們所討論的先驗(yàn)概率P(ωi)，也不是后驗(yàn)概率P(

7、ωi

8、X)，而是p(x

9、ωi)。單變量正態(tài)分布單變量正態(tài)分布具體化其中ωi,σi分別是對(duì)ω及σ的具體化。多元正態(tài)分布多元正態(tài)分布μ是X的均值向量，也是d維，μ＝E{X}＝[μ1，μ2，…，μd]TΣ是d×d維協(xié)方差矩陣Σ－1是Σ的逆矩陣

10、Σ

11、是Σ的行列式Σ＝E{(X－μ)(X－μ)T}Σ是非負(fù)矩陣，在此我們只考慮正定陣，即

12、Σ

13、＞0。多元正態(tài)分布討論二元正態(tài)分布二維向量，是一個(gè)隨機(jī)向量，每一個(gè)分量都是隨機(jī)變量，服從正態(tài)分布不僅要求考慮每個(gè)分量單獨(dú)的分布，還要考慮兩個(gè)隨機(jī)變量之間的關(guān)系Samplesdrawnfromatwo-di

14、mensionalGaussianlieinacloudcenteredonthemean.TheellipsesshowlinesofequalprobabilitydensityoftheGaussian.兩個(gè)二元正態(tài)分布的各個(gè)分量相同,(即期望(μ1和μ2)方差σ1和σ2都相同),但這兩個(gè)特征向量在空間的分布卻不相同多元正態(tài)分布協(xié)方差矩陣用E[(x2-μ2)](x1-μ1)]來(lái)衡量相關(guān)性，稱(chēng)為協(xié)方差,用符號(hào)Σ表示協(xié)方差越大，說(shuō)明兩個(gè)變量的相關(guān)度越高非對(duì)角元素正表示了兩個(gè)分量之間的相關(guān)性主對(duì)角元素則是各分量本身的方差二維向量

15、的協(xié)方差矩陣多元正態(tài)分布協(xié)方差矩陣協(xié)方差矩陣并不只對(duì)正態(tài)分布有用特性:協(xié)方差矩陣是一個(gè)對(duì)稱(chēng)矩陣特性:協(xié)方差矩是正定的多元正態(tài)分布的性質(zhì)(1)參數(shù)μ與Σ對(duì)分布具有決定性與單變量相似，記作p(X)～N(μ，Σ)(2)等密度點(diǎn)分布在超橢球面上(x－μ)ＴΣ－１(x－μ)＝常數(shù)二維時(shí)表示一個(gè)橢圓，在三維表示橢球，在高維是表示超橢球(X-μ)ＴΣ－１(X-μ)稱(chēng)為向量X到向量μ的Mahalanobis距離的平方，即r2＝(x－μ)ＴΣ－１(x－μ)可將mahalanolbis距離與歐氏距離作比較前者是一個(gè)橢圓，而后者則是圓多元正態(tài)分布的性

16、質(zhì)(3)多元正態(tài)分布的離散程度由參數(shù)

17、Σ

18、１／２決定與單變量時(shí)由標(biāo)準(zhǔn)差σ決定是對(duì)應(yīng)一致的(4)不相關(guān)性等價(jià)于獨(dú)立性兩個(gè)隨機(jī)變量不相關(guān):E[xixj]＝E[xi]·E[xj]兩個(gè)隨機(jī)變量統(tǒng)計(jì)獨(dú)立:p(xixj)＝p(xi)p(xj)兩個(gè)隨機(jī)變量不相關(guān)，不意味著它們一定獨(dú)立相互獨(dú)立的隨機(jī)變量，它們之間是不相關(guān)的正態(tài)分布中不相關(guān)性等價(jià)于獨(dú)立性多元正態(tài)分布的性質(zhì)(5)邊緣分布和條件分布的正態(tài)性多元正態(tài)分布的邊緣分布和條件分布仍然是正態(tài)分布(6)線性變換的正態(tài)性這是指多元正態(tài)分布的隨機(jī)向量的線性變換仍然是多元正態(tài)分布的隨機(jī)向量(7)線性組

19、合的正態(tài)性這是指多元正態(tài)分布的隨機(jī)向量，在經(jīng)過(guò)線性組合后得到的一維隨機(jī)變量也是正態(tài)分布的。Theactionofalineartransformationonthefeaturespacewillconvertanarbitrarynormaldistributionintoanothernormaldistribution.A,takesthesourcedistributionintodistributionN(At,AtA)aprojectionPontoalinedefinedbyvectora—leadstoN(μ,σ

20、2)measuredalongthatlineAwhiteningtransform,Aw,leadstoacircularlysymmetricGaussian正態(tài)分布概率模型下的最小錯(cuò)誤率貝葉斯決策最小錯(cuò)誤率決策規(guī)則因此判別函數(shù)為是多元正態(tài)分布，判別函數(shù)采用