資源描述：
《模式識(shí)別-貝葉斯決策理論和應(yīng)用.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、武漢大學(xué)電子信息學(xué)院IPL第二章貝葉斯決策理論模式識(shí)別理論及應(yīng)用PatternRecognition -MethodsandApplication內(nèi)容目錄IPL第二章貝葉斯決策理論2.1引言21342.2基于判別函數(shù)的分類器設(shè)計(jì)2.3基于最小錯(cuò)誤率的Bayes決策2.4基于最小風(fēng)險(xiǎn)的Bayes決策2.5正態(tài)分布的最小錯(cuò)誤率Bayes決策2.6討論56模式識(shí)別與神經(jīng)網(wǎng)絡(luò)2.1引言數(shù)據(jù)獲取預(yù)處理特征提取 與選擇分類決策分類器 設(shè)計(jì)信號(hào)空間特征空間3第二章Bayes決策理論基本概念模式分類：根據(jù)識(shí)別對(duì)象的觀測(cè)值確定其類別樣本與樣本空間：類別與類別空間：c個(gè)類別（類別數(shù)已知）4第二章Bayes
2、決策理論決策把x分到哪一類最合理？理論基礎(chǔ)之一是統(tǒng)計(jì)決策理論決策：是從樣本空間S，到?jīng)Q策空間Θ的一個(gè)映射，表示為D:S-->Θ引言5第二章Bayes決策理論決策準(zhǔn)則引言評(píng)價(jià)決策有多種標(biāo)準(zhǔn)，對(duì)于同一個(gè)問題，采用不同的標(biāo)準(zhǔn)會(huì)得到不同意義下“最優(yōu)”的決策。Bayes決策常用的準(zhǔn)則：最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的準(zhǔn)則最小最大決策準(zhǔn)則6第二章Bayes決策理論2.2基于判別函數(shù)的分類器設(shè)計(jì)判別函數(shù)(discriminantfunction)： 相應(yīng)于每一類定義一個(gè)函數(shù)，得到一組判別函數(shù)gi(x),i=1,2,…,c決策區(qū)域與決策面(decisionregi
3、on/surface)：7第二章Bayes決策理論8第二章Bayes決策理論決策規(guī)則(decisionrule)規(guī)則表達(dá)1規(guī)則表達(dá)29第二章Bayes決策理論分類器設(shè)計(jì)分類器是某種由硬件或軟件組成的“機(jī)器”：計(jì)算c個(gè)判別函數(shù)gi(x)最大值選擇MAXg1...g2gc...x1x2xna(x)判別 函數(shù)多類識(shí)別問題的Bayes最小錯(cuò)誤率決策：gi(x)=P(ωi
4、x)10第二章Bayes決策理論2.3Bayes最小錯(cuò)誤率決策以兩類分類問題為例：已知先驗(yàn)分布P(ωi)和觀測(cè)值的類條件分布p(x
5、ωi)，i=1,2問題：對(duì)某個(gè)樣本x，x∈ω1?x∈ω2？即選擇P(ω1
6、x)，P(ω2
7、x)
8、中最大值對(duì)應(yīng)的類作為決策結(jié)果該決策使得在觀測(cè)值x下的條件錯(cuò)誤率P(e
9、x)最小。Bayes決策理論是最優(yōu)的以后驗(yàn)概率為判決函數(shù)：決策規(guī)則：11第二章Bayes決策理論后驗(yàn)概率P(ωi
10、x)的計(jì)算Bayes公式：假設(shè)已知先驗(yàn)概率P(ωi)和觀測(cè)值的類條件分布p(x
11、ωi)，i=1,2最小錯(cuò)誤率決策12第二章Bayes決策理論公式簡化比較大小不需要計(jì)算p(x)：最小錯(cuò)誤率決策13第二章Bayes決策理論公式簡化對(duì)數(shù)域中計(jì)算，變乘為加：最小錯(cuò)誤率決策判別函數(shù)中與類別i無關(guān)的項(xiàng)，對(duì)于類別的決策沒有影響，可以忽略14第二章Bayes決策理論Bayes最小錯(cuò)誤率決策例解兩類細(xì)胞識(shí)別問題：正常(ω1
12、)和異常(ω2)根據(jù)已有知識(shí)和經(jīng)驗(yàn)，兩類的先驗(yàn)概率為：正常(ω1)：P(ω1)=0.9異常(ω2)：P(ω2)=0.1對(duì)某一樣本觀察值x，通過計(jì)算或查表得到：p(x
13、ω1)=0.2，p(x
14、ω2)=0.4如何對(duì)細(xì)胞x進(jìn)行分類？最小錯(cuò)誤率決策15第二章Bayes決策理論Bayes最小錯(cuò)誤率決策例解（2）利用貝葉斯公式計(jì)算兩類的后驗(yàn)概率：最小錯(cuò)誤率決策決策結(jié)果16第二章Bayes決策理論圖解最小錯(cuò)誤率決策p(x
15、ω1)p(x
16、ω2)p(ω1
17、x)p(ω2
18、x)類條件概率密度函數(shù)后驗(yàn)概率17第二章Bayes決策理論決策的錯(cuò)誤率條件錯(cuò)誤率：最小錯(cuò)誤率決策（平均）錯(cuò)誤率是條件錯(cuò)誤率的數(shù)學(xué)期望（平
19、均）錯(cuò)誤率：18第二章Bayes決策理論決策的錯(cuò)誤率（2）最小錯(cuò)誤率決策條件錯(cuò)誤率P(e
20、x)的計(jì)算:以兩類問題為例，當(dāng)獲得觀測(cè)值x后，有兩種決策可能：判定x∈ω1，或者x∈ω2。條件錯(cuò)誤率為：19第二章Bayes決策理論決策的錯(cuò)誤率（3）Bayes最小錯(cuò)誤率決策使得每個(gè)觀測(cè)值下的條件錯(cuò)誤率最小因而保證了（平均）錯(cuò)誤率最小。Bayes決策是一致最優(yōu)決策。最小錯(cuò)誤率決策20第二章Bayes決策理論決策的錯(cuò)誤率（4）設(shè)t為兩類的分界面，則在特征向量x是一維時(shí)，t為x軸上的一點(diǎn)。兩個(gè)決策區(qū)域: R1~(-∞，t)和R2~(t，+∞)最小錯(cuò)誤率決策21第二章Bayes決策理論22第二章Baye
21、s決策理論2.4基于最小風(fēng)險(xiǎn)的Bayes決策決策的風(fēng)險(xiǎn)：做決策要考慮決策可能引起的損失。以醫(yī)生根據(jù)白細(xì)胞濃度判斷一個(gè)人是否患血液病為例：沒病(ω1)被判為有病(ω2)，還可以做進(jìn)一步檢查，損失不大；有病(ω2)被判為無病(ω1)，損失嚴(yán)重。23第二章Bayes決策理論損失矩陣損失的定義：(N類問題)做出決策D(x)=ωi，但實(shí)際上x∈ωj，受到的損失定義為：損失矩陣或決策表：最小風(fēng)險(xiǎn) 決策24第二章Bayes決策理論期望條件風(fēng)險(xiǎn)與期望風(fēng)險(xiǎn)期望條
