第2章 貝葉斯決策理論與統(tǒng)計(jì)判別方法

《第2章 貝葉斯決策理論與統(tǒng)計(jì)判別方法》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、第2章貝葉斯決策理論與統(tǒng)計(jì)判別方法模式識(shí)別第2章貝葉斯決策理論與統(tǒng)計(jì)判別方法武漢大學(xué)電子信息學(xué)院1貝葉斯決策理論模式識(shí)別學(xué)習(xí)指南??主要內(nèi)容是說(shuō)明分類識(shí)別中為什么會(huì)有錯(cuò)分類，在何種情況下會(huì)出現(xiàn)錯(cuò)分類？錯(cuò)分類的可能性會(huì)有多大？在理論上指明了怎樣才能使錯(cuò)分類最少？??不同的錯(cuò)分類造成的危害是不同的，有的錯(cuò)分類種類造成的危害更大，因此控制這種錯(cuò)分類則是更重要的。為此引入了一種“風(fēng)險(xiǎn)”與“損失”概念，希望做到使風(fēng)險(xiǎn)最小。要著重理解“風(fēng)險(xiǎn)”與“損失”的概念，以及在引入“風(fēng)險(xiǎn)”概念后的處理方法。武漢大學(xué)電子信息學(xué)院2貝

2、葉斯決策理論模式識(shí)別理解這一章的關(guān)鍵是要正確理解先驗(yàn)概率，類概率密度函數(shù)，后驗(yàn)概率這三種概率，對(duì)這三種概率的定義，相互關(guān)系要搞得清清楚楚。Bayes公式正是體現(xiàn)這三者關(guān)系的式子，要透徹掌握。武漢大學(xué)電子信息學(xué)院3貝葉斯決策理論模式識(shí)別2.1引言??模式識(shí)別是一種分類(classify)問(wèn)題，即根據(jù)識(shí)別對(duì)象所呈現(xiàn)的觀察值，將其分到某個(gè)類別中去。統(tǒng)計(jì)決策理論是處理模式分類問(wèn)題的基本理論之一，對(duì)模式分析和分類器(classifier)的設(shè)計(jì)起指導(dǎo)作用。貝葉斯決策理論是統(tǒng)計(jì)模式識(shí)別中的一個(gè)基本方法，我們先討論這一決

3、策理論，然后討論涉及統(tǒng)計(jì)判別方法的一些基本問(wèn)題。武漢大學(xué)電子信息學(xué)院4貝葉斯決策理論模式識(shí)別特征向量與特征空間??例：蘋果的直徑尺寸限定在7厘米到15厘米之間，它們的重量在3兩到8兩之間變化。如果直徑長(zhǎng)度x用厘米為單位，重量y以兩為單位。那么，由x值從7到15，y值從3到8包圍的二維空間就是對(duì)蘋果進(jìn)行度量的特征空間。??總體概率分布已知??要決策分類的類別數(shù)一定武漢大學(xué)電子信息學(xué)院5貝葉斯決策理論模式識(shí)別貝葉斯決策理論所要討論的問(wèn)題??各類別ωi=1,2,…,c的先驗(yàn)概率P(ωi)及類條件概率密度函數(shù)p(x

4、

5、ωi)已知的條件下，如何對(duì)某一樣本按其特征向量分類的問(wèn)題。??幾種常用的決策規(guī)則??正態(tài)分布時(shí)統(tǒng)計(jì)決策的問(wèn)題以及錯(cuò)誤概率等問(wèn)題武漢大學(xué)電子信息學(xué)院6貝葉斯決策理論模式識(shí)別2.2幾種常用的決策規(guī)則??不同的決策規(guī)則反映了分類器設(shè)計(jì)者的不同考慮，對(duì)決策結(jié)果有不同的影響。其中最有代表性的是:基于最小錯(cuò)誤率的貝葉斯決策基于最小風(fēng)險(xiǎn)的貝葉斯決策武漢大學(xué)電子信息學(xué)院7貝葉斯決策理論模式識(shí)別2.2.1基于最小錯(cuò)誤率的貝葉斯決策??分類識(shí)別中為什么會(huì)有錯(cuò)分類，在何種情況下會(huì)出現(xiàn)錯(cuò)分類？錯(cuò)分類的可能性會(huì)有多大？??當(dāng)某一特

6、征向量值X只為某一類物體所特有，即對(duì)其作出決策是容易的，也不會(huì)出什么差錯(cuò)。問(wèn)題在于出現(xiàn)模棱兩可的情況。此時(shí)，任何決策都存在判錯(cuò)的可能性。??條件概率：P(*

7、#)是條件概率的通用符號(hào)，P(ωK

8、X)是表示在X出現(xiàn)條件下，樣本為ωK類的概率。武漢大學(xué)電子信息學(xué)院8貝葉斯決策理論模式識(shí)別先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)??先驗(yàn)概率P(ω1)及P(ω2)由先驗(yàn)知識(shí)在識(shí)別前就得到的概率??后驗(yàn)概率P(ω1

9、X)??概率密度函數(shù)P(X

10、ω1)及P(X

11、ω2)??聯(lián)合概率P(X,ω)i武漢大學(xué)電子信息學(xué)院9貝葉斯決策理

12、論模式識(shí)別先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)??Bayes(貝葉斯)公式是根據(jù)聯(lián)合概率這一概念推出的P(x,ω)=P(x

13、ω)P(ω)=P(ω

14、x)P(x)iiii貝葉斯公式實(shí)質(zhì)上是通過(guò)觀察x,把狀態(tài)的先驗(yàn)概率P()Ζ轉(zhuǎn)化為后驗(yàn)概率P(

15、Ζx)ii武漢大學(xué)電子信息學(xué)院10貝葉斯決策理論模式識(shí)別圖2.1武漢大學(xué)電子信息學(xué)院11貝葉斯決策理論模式識(shí)別圖2.2武漢大學(xué)電子信息學(xué)院12貝葉斯決策理論模式識(shí)別基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤概率的貝葉斯決策理論就是按后驗(yàn)概率的大小作判決的（1）后驗(yàn)概率：如果則武漢

16、大學(xué)電子信息學(xué)院13貝葉斯決策理論模式識(shí)別（2）如果則（3）似然比：如果則否則武漢大學(xué)電子信息學(xué)院14貝葉斯決策理論模式識(shí)別（4）似然比寫成相應(yīng)的負(fù)對(duì)數(shù)形式：如果則否則武漢大學(xué)電子信息學(xué)院15貝葉斯決策理論模式識(shí)別例2.1??假設(shè)在某地區(qū)切片細(xì)胞中正常(ω1)和異常(ω２)兩類的先驗(yàn)概率分別為P(ω1)=0.9，P(ω2)=0.1?，F(xiàn)有一待識(shí)別細(xì)胞呈現(xiàn)出狀態(tài)x，由其類條件概率密度分布曲線查得p(x

17、ω1)=0.2，p(x

18、ω進(jìn)行分類。２)=0.4，試對(duì)細(xì)胞x??解：利用貝葉斯公式，分別計(jì)算出狀態(tài)為x時(shí)ω1與

19、ω２的后驗(yàn)概率武漢大學(xué)電子信息學(xué)院16貝葉斯決策理論模式識(shí)別P(ω1

20、x)＝0.818＞P(ω２

21、x)＝0.0182因此判定該細(xì)胞為正常細(xì)胞比較合理。武漢大學(xué)電子信息學(xué)院17貝葉斯決策理論模式識(shí)別基于最小錯(cuò)誤率的貝葉斯決策的證明??平均錯(cuò)誤率：在觀測(cè)值可能取值的整個(gè)范圍內(nèi)錯(cuò)識(shí)率的均值武漢大學(xué)電子信息學(xué)院18貝葉斯決策理論模式識(shí)別兩類別情況：??當(dāng)P(w2

22、x)＞p(w1

23、x)時(shí)決策為w2，對(duì)觀測(cè)值x有P(w1

24、x