資源描述:
《模式識(shí)別-貝葉斯決策理論和應(yīng)用.ppt》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、武漢大學(xué)電子信息學(xué)院IPL第二章貝葉斯決策理論模式識(shí)別理論及應(yīng)用PatternRecognition-MethodsandApplication內(nèi)容目錄IPL第二章貝葉斯決策理論2.1引言21342.2基于判別函數(shù)的分類器設(shè)計(jì)2.3基于最小錯(cuò)誤率的Bayes決策2.4基于最小風(fēng)險(xiǎn)的Bayes決策2.5正態(tài)分布的最小錯(cuò)誤率Bayes決策2.6討論56模式識(shí)別與神經(jīng)網(wǎng)絡(luò)2.1引言數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類決策分類器設(shè)計(jì)信號(hào)空間特征空間3第二章Bayes決策理論基本概念模式分類:根據(jù)識(shí)別對(duì)象的觀測(cè)值確定其類別樣本與樣本空間:類別與類別空間:c個(gè)類別(類別數(shù)已知)4第二章Bayes
2、決策理論決策把x分到哪一類最合理?理論基礎(chǔ)之一是統(tǒng)計(jì)決策理論決策:是從樣本空間S,到?jīng)Q策空間Θ的一個(gè)映射,表示為D:S-->Θ引言5第二章Bayes決策理論決策準(zhǔn)則引言評(píng)價(jià)決策有多種標(biāo)準(zhǔn),對(duì)于同一個(gè)問題,采用不同的標(biāo)準(zhǔn)會(huì)得到不同意義下“最優(yōu)”的決策。Bayes決策常用的準(zhǔn)則:最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的準(zhǔn)則最小最大決策準(zhǔn)則6第二章Bayes決策理論2.2基于判別函數(shù)的分類器設(shè)計(jì)判別函數(shù)(discriminantfunction):相應(yīng)于每一類定義一個(gè)函數(shù),得到一組判別函數(shù)gi(x),i=1,2,…,c決策區(qū)域與決策面(decisionregi
3、on/surface):7第二章Bayes決策理論8第二章Bayes決策理論決策規(guī)則(decisionrule)規(guī)則表達(dá)1規(guī)則表達(dá)29第二章Bayes決策理論分類器設(shè)計(jì)分類器是某種由硬件或軟件組成的“機(jī)器”:計(jì)算c個(gè)判別函數(shù)gi(x)最大值選擇MAXg1...g2gc...x1x2xna(x)判別函數(shù)多類識(shí)別問題的Bayes最小錯(cuò)誤率決策:gi(x)=P(ωi
4、x)10第二章Bayes決策理論2.3Bayes最小錯(cuò)誤率決策以兩類分類問題為例:已知先驗(yàn)分布P(ωi)和觀測(cè)值的類條件分布p(x
5、ωi),i=1,2問題:對(duì)某個(gè)樣本x,x∈ω1?x∈ω2?即選擇P(ω1
6、x),P(ω2
7、x)
8、中最大值對(duì)應(yīng)的類作為決策結(jié)果該決策使得在觀測(cè)值x下的條件錯(cuò)誤率P(e
9、x)最小。Bayes決策理論是最優(yōu)的以后驗(yàn)概率為判決函數(shù):決策規(guī)則:11第二章Bayes決策理論后驗(yàn)概率P(ωi
10、x)的計(jì)算Bayes公式:假設(shè)已知先驗(yàn)概率P(ωi)和觀測(cè)值的類條件分布p(x
11、ωi),i=1,2最小錯(cuò)誤率決策12第二章Bayes決策理論公式簡化比較大小不需要計(jì)算p(x):最小錯(cuò)誤率決策13第二章Bayes決策理論公式簡化對(duì)數(shù)域中計(jì)算,變乘為加:最小錯(cuò)誤率決策判別函數(shù)中與類別i無關(guān)的項(xiàng),對(duì)于類別的決策沒有影響,可以忽略14第二章Bayes決策理論Bayes最小錯(cuò)誤率決策例解兩類細(xì)胞識(shí)別問題:正常(ω1
12、)和異常(ω2)根據(jù)已有知識(shí)和經(jīng)驗(yàn),兩類的先驗(yàn)概率為:正常(ω1):P(ω1)=0.9異常(ω2):P(ω2)=0.1對(duì)某一樣本觀察值x,通過計(jì)算或查表得到:p(x
13、ω1)=0.2,p(x
14、ω2)=0.4如何對(duì)細(xì)胞x進(jìn)行分類?最小錯(cuò)誤率決策15第二章Bayes決策理論Bayes最小錯(cuò)誤率決策例解(2)利用貝葉斯公式計(jì)算兩類的后驗(yàn)概率:最小錯(cuò)誤率決策決策結(jié)果16第二章Bayes決策理論圖解最小錯(cuò)誤率決策p(x
15、ω1)p(x
16、ω2)p(ω1
17、x)p(ω2
18、x)類條件概率密度函數(shù)后驗(yàn)概率17第二章Bayes決策理論決策的錯(cuò)誤率條件錯(cuò)誤率:最小錯(cuò)誤率決策(平均)錯(cuò)誤率是條件錯(cuò)誤率的數(shù)學(xué)期望(平
19、均)錯(cuò)誤率:18第二章Bayes決策理論決策的錯(cuò)誤率(2)最小錯(cuò)誤率決策條件錯(cuò)誤率P(e
20、x)的計(jì)算:以兩類問題為例,當(dāng)獲得觀測(cè)值x后,有兩種決策可能:判定x∈ω1,或者x∈ω2。條件錯(cuò)誤率為:19第二章Bayes決策理論決策的錯(cuò)誤率(3)Bayes最小錯(cuò)誤率決策使得每個(gè)觀測(cè)值下的條件錯(cuò)誤率最小因而保證了(平均)錯(cuò)誤率最小。Bayes決策是一致最優(yōu)決策。最小錯(cuò)誤率決策20第二章Bayes決策理論決策的錯(cuò)誤率(4)設(shè)t為兩類的分界面,則在特征向量x是一維時(shí),t為x軸上的一點(diǎn)。兩個(gè)決策區(qū)域:R1~(-∞,t)和R2~(t,+∞)最小錯(cuò)誤率決策21第二章Bayes決策理論22第二章Baye
21、s決策理論2.4基于最小風(fēng)險(xiǎn)的Bayes決策決策的風(fēng)險(xiǎn):做決策要考慮決策可能引起的損失。以醫(yī)生根據(jù)白細(xì)胞濃度判斷一個(gè)人是否患血液病為例:沒病(ω1)被判為有病(ω2),還可以做進(jìn)一步檢查,損失不大;有病(ω2)被判為無病(ω1),損失嚴(yán)重。23第二章Bayes決策理論損失矩陣損失的定義:(N類問題)做出決策D(x)=ωi,但實(shí)際上x∈ωj,受到的損失定義為:損失矩陣或決策表:最小風(fēng)險(xiǎn)決策24第二章Bayes決策理論期望條件風(fēng)險(xiǎn)與期望風(fēng)險(xiǎn)期望條