資源描述：
《基于貝葉斯理論的支持向量機(jī)綜述》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、萬(wàn)方數(shù)據(jù)第27卷第5期2010年5月計(jì)算機(jī)應(yīng)用與軟件ComputerApplicationsandSoftwareV01．27No．5Mav2010基于貝葉斯理論的支持向量機(jī)綜述蘇展1徐立霞21(解放軍理工大學(xué)理學(xué)院江蘇南京211101)2(南京財(cái)經(jīng)大學(xué)經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)系江蘇南京210046)摘要支持向量機(jī)(SVM)以其堅(jiān)實(shí)的理論基礎(chǔ)，和在機(jī)器學(xué)習(xí)領(lǐng)域表現(xiàn)出的良好推廣性能，獲得了越來(lái)越廣泛的關(guān)注。為更好地推進(jìn)其發(fā)展，科研工作者們借鑒統(tǒng)計(jì)學(xué)中經(jīng)典的貝葉斯理論，做了大量工作，例如：引進(jìn)貝葉斯理論中先驗(yàn)知識(shí)、后驗(yàn)概率等概念，改進(jìn)支持向量機(jī)中的判別
2、準(zhǔn)則；或利用貝葉斯理論估計(jì)支持向量機(jī)中的參數(shù)塒、正規(guī)化參數(shù)以及核參數(shù)等。目前已取得不錯(cuò)的效果，使支持向量機(jī)理論更具有實(shí)用價(jià)值。關(guān)鍵詞支持向量機(jī)貝葉斯理論先驗(yàn)概率后驗(yàn)概率REVIEWoNSUPPoRTVECToRM．ACHINEBASEDoNBAYES’THEoREMSuZhanlXiuLixia27(InstituteofScience，PLAUniversityofScienceandTechnology，Nanjing211101，Jiangsu，China)2(SchootofEconomics，NanjingUniversity
3、ofFinanceandEconomics，Nanjing210046，Jiangsu，China)AbstractSupportVectorMachines(SVMs)aregettinggrowingconcernsduetoitssoundfoundationoftheoriesaswell硒itspmferablepopularisingperformanceinthefieldofmachinelearning．Inordertofurtherpromoteitsdevelopment，alotofworkshavebeend
4、oingbythescientificandtechnologicalpersonnelreferringtoclaSsicalBayes’theoreminStatistics．Forexample，theconceptsofprioriknowledgeandposteriorpmbabihtyinBayes’theoremareintroducedtoimprovethejudgingcriteriononSVMs；orBayes’theoremisemployedtoestimatetheparameterW，normalisa
5、tionparameterandkernelparameterofSVMs，etc．，andallofthesehaveachievedquitesatisfyingeffect，whichmakestheSVMtheorymol-evaluableinpractice．Inthispaper，wearetoSUnllnarisetheworksdoneinthesealiaS．KeywordsSupportvectormachineBayes’theoremPriorprobabilityPosteriorprobability0引言
6、支持向量機(jī)方法”31是建立在統(tǒng)計(jì)學(xué)習(xí)理論Vc維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的一種機(jī)器學(xué)習(xí)方法。對(duì)于已知兩類訓(xùn)練集：T={(蘢1，Y1)，(石l，Y2)，?，(z』，)，f)}∈(X×Y)‘(1)其中茗。EX=R4，Yi∈Y={1，一l}，i=1，2，?，2。尋找X=R“上的一個(gè)實(shí)值函數(shù)g(x)以便用決策函數(shù)八茗)=sgn(g(x))推斷任一模式x相對(duì)應(yīng)的Y值即類別，也即求解一個(gè)把彤上的點(diǎn)分成兩部分的規(guī)則。其標(biāo)準(zhǔn)算法如下：設(shè)已知訓(xùn)練集如式(1)所示；選擇核函數(shù)矗(茹，茹’)和懲罰參數(shù)c，構(gòu)造并求解最優(yōu)化問題：?jiǎn)寺薈；)，tyja,丐％(
7、Xi,薯)一；qf州．∑，，熙=00≤a．≤Ci=1“2一，o得最優(yōu)解a‘=(口l‘，a2‘，?，af+)71。選擇a’的一個(gè)小于c的正分量a，+，并據(jù)此計(jì)算：fb‘=五一∑Y。a?！?菇i，巧)求得決策函數(shù)以石)=sgn(乏]Yid?！痥(t，戈)+b‘)。t．=-J支持向量機(jī)方法的幾個(gè)主要優(yōu)點(diǎn)有：1)它是專門針對(duì)有限樣本情況的，其目標(biāo)是得到現(xiàn)有信息下的最優(yōu)解而不僅僅是樣本數(shù)趨于無(wú)窮大時(shí)的最優(yōu)值；2)算法最終將轉(zhuǎn)化成為一個(gè)二次型尋優(yōu)問題，從理論上說，得到的將是全局最優(yōu)點(diǎn)，解決了在神經(jīng)網(wǎng)絡(luò)方法中無(wú)法避免的局部極值問題；3)算法將實(shí)際問
8、題通過非線性變換轉(zhuǎn)換到高維的特征空間(FeatureSpace)，在高維空間中構(gòu)造線性判別函數(shù)來(lái)實(shí)現(xiàn)原空間中的非線性判別函數(shù)，特殊性質(zhì)能保證機(jī)器有較好的推廣能力，同時(shí)它巧妙地解決了維數(shù)問題，其算法復(fù)雜度與樣
