資源描述：
《統(tǒng)計(jì)模式識(shí)別a-貝葉斯決策理論-OK.pdf》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。
1、必要性上一章是在模式幾何第三章w1可分（線性或者非線性）w的前提下討論的，這種情x22況比較簡(jiǎn)單，對(duì)某些問(wèn)題統(tǒng)計(jì)模式識(shí)別(二)也能夠進(jìn)行判決。但是對(duì)更多的問(wèn)題來(lái)說(shuō)，這種條(概率分類法)件并不能得到滿足?；诖朔N情況，我們的分類將貝葉斯決策理論借助于概率統(tǒng)計(jì)這一數(shù)學(xué)Ox工具來(lái)進(jìn)行。1概率分類法的主要研究?jī)?nèi)容目錄爭(zhēng)取最優(yōu)結(jié)果的統(tǒng)計(jì)決策方法討論統(tǒng)計(jì)分類的判決準(zhǔn)則參數(shù)估計(jì)正態(tài)密度及其判別函數(shù)–密度分布形式已知條件下的參數(shù)估計(jì)密度函數(shù)的估計(jì)–密度分布形式未知時(shí)的參數(shù)估計(jì)與決策非參數(shù)方法分類錯(cuò)誤率問(wèn)題降低特征的維數(shù)小結(jié)1.統(tǒng)計(jì)分類的判決準(zhǔn)則(1)Bayes法則Bayes法則(最小錯(cuò)誤率)基
2、本概念Bayes風(fēng)險(xiǎn)(最小風(fēng)險(xiǎn))–先驗(yàn)概率：從以往的數(shù)據(jù)分析中得到的經(jīng)驗(yàn)值。基于Bayes法則的分類器–后驗(yàn)概率：在得到信息之后，在對(duì)以往數(shù)據(jù)加最小最大決策以修正的概率（一般也是條件概率）。Neyman-Pearson決策–舉例：離散情況下的Bayes判決P(B)表示先驗(yàn)概率，在得到信息A后，則有P(B
3、A)復(fù)合Bayes決策理論是后驗(yàn)概率，而也經(jīng)常把P(A
4、B)叫條件概率。–Bayes公式：PAB()PAB(
5、)=PB()1Bayes法則bBayes法則c設(shè)有R類樣本，分別為w12,ww,..R，若每類的先驗(yàn)P(wi
6、
7、X)>?PXX(wwji)T概率為P(wi),iR=1,
8、2,..,。其中，i,j=1,2,...,,R且"1ji對(duì)于一樣本X認(rèn)為隨機(jī)矢量X，每類的條件概率為()消去分母或取對(duì)數(shù)，可得等價(jià)的判別準(zhǔn)則PX
9、wiP(
10、Xw)(Pw)>?P(
11、Xw)()PXwwTiijji根據(jù)Bayes公式，后驗(yàn)概率為：log(
12、)PXPw+log()w>+log(
13、)PXPwwlog()iijjP(XP
14、ww)()iiPX(wi
15、)=RTX?wi?P(wwkk)PX(
16、)若定義似然比L(X)=P(
17、)(
18、)XwwPX，則k=1ij從后驗(yàn)概率出發(fā)，得到Bayes法則：L(X)>1P(wj)/(Pwwii),TX?"ijBayes法則d(2)Bayes風(fēng)險(xiǎn)a
19、根據(jù)Bayes法則，對(duì)于一個(gè)兩類問(wèn)題，有風(fēng)險(xiǎn)：對(duì)于某一樣本X?w，而采取行i如下結(jié)論：動(dòng)aj，則招致?lián)p失l(
20、)awji，簡(jiǎn)記為lij，1.若對(duì)于某一樣品X，有P(X
21、
22、ww12)=PX()，稱RX(
23、)aj為取行動(dòng)aj時(shí)的條件風(fēng)險(xiǎn)則說(shuō)明X沒(méi)有提供關(guān)于類別狀態(tài)的任何信R息，完全取決于先驗(yàn)概率。R(
24、ajX)=?l(
25、aiwwii)PX(
26、)i=12.若PP(ww)=()，則判決完全取決于條件概總風(fēng)險(xiǎn)12率。R=òRX((a)
27、)()XPXdX3.除此之外，Bayes法則提供最小錯(cuò)誤概率的其中a()X是對(duì)每一個(gè)X所可能取得行動(dòng)aa判決。12aR中的一個(gè)。Bayes風(fēng)險(xiǎn)bBayes
28、風(fēng)險(xiǎn)c例：兩類問(wèn)題判斷準(zhǔn)則：–決策1：a1----〉決策為w1類若RXRX(
29、aa)<(
30、),12–決策2：a2----〉決策為w2類則假設(shè)采取行動(dòng)a1的損失較小，X被判為–l表示真類別為w，判決為w所招致的損失ijij第一類則推導(dǎo)：R(
31、aX)=+lP(
32、wX)lwPX(
33、)1111212lP(
34、wX)+<+lP(
35、wX)lP(
36、wXPX)lw(
37、)111212121222R(
38、aX)=+lP(
39、wX)lwPX(
40、)2121222即(ll--?)P(
41、)wX<(ll)PXX(
42、)wwT212221211112Bayes風(fēng)險(xiǎn)dBayes判別與Bayes風(fēng)險(xiǎn)用先驗(yàn)概率與條件概率代
43、替后驗(yàn)概率，消去P(x)()()Pwi
44、
45、X>?PXXwwjiT(l-l)(
46、)()PXwPw<-(ll)(
47、)()PXPww212222121111P(
48、Xw)(Pw)>?P(
49、Xw)()PXwwTiijjiX?w1與X無(wú)關(guān)log(
50、)PXPw+log()w>+log(
51、)PXPwwlog()iijj似然比的常數(shù)TX?wP(
52、)XPw(llw-)()iLX()=>121222P(
53、)XPw(llw-)()212111P(
54、)XPw(llw-)()121222LX()=>結(jié)論：若似然比大于某一與X無(wú)關(guān)的閾值，則決P(
55、)XPw(llw-)()212111策為w，被稱為最小風(fēng)險(xiǎn)的
56、Bayes決策。1(3)基于Bayes法則的分類器a(3)基于Bayes法則的分類器b分類器、判決函數(shù)、分界線(面)基于Bayes法則的判決函數(shù)有多種，如Tg(X)=PX(w
57、)X=(,xxx,..)w,ww,..12n12Riix1g1g(X)=P(XP
58、ww)()iiix2g2gi(X)=+log
59、P(XPwwii)log()求MAX判決但是它們的效果是一樣的，都是把特征空xg間分割成多個(gè)不同的決策區(qū)域。nRg(X)>g(X),"1jiXT?wiji若有g(shù)(X)>g(X),"?jiX1T
