資源描述:
《支持向量機(jī)參數(shù)優(yōu)化問題的研究》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、碩士學(xué)位論文支持向量機(jī)參數(shù)優(yōu)化問題的研究RESEARCHONPARAMETEROPTIMIZATIONOFSUPPORTVECTORMACHINE胡俊哈爾濱工業(yè)大學(xué)2009年6月國內(nèi)圖書分類號:O234國際圖書分類號:517.93學(xué)校代碼:10213密級:公開理學(xué)碩士學(xué)位論文支持向量機(jī)參數(shù)優(yōu)化問題的研究碩士研究生:胡俊導(dǎo)師:薛小平教授申請學(xué)位:理學(xué)碩士學(xué)科:基礎(chǔ)數(shù)學(xué)所在單位:數(shù)學(xué)系答辯日期:2009年6月授予學(xué)位單位:哈爾濱工業(yè)大學(xué)ClassifiedIndex:O234U.D.C:517.93DissertationfortheMasterDegreeinScienceRESEA
2、RCHONPARAMETEROPTIMIZATIONOFSUPPORTVECTORMACHINECandidate:Supervisor:AcademicDegreeAppliedfor:Speciality:Affiliation:DateofDefence:Degree-Conferring-Institution:HuJunProf.XueXiaopingMasterofScienceBasicMathematicsDepartmentofMathematicsJune,2009HarbinInstituteofTechnology哈爾濱工業(yè)大學(xué)理學(xué)碩士學(xué)位論文摘要作為數(shù)據(jù)挖掘
3、中的一項新技術(shù),支持向量機(jī)是在統(tǒng)計學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來的一種性能優(yōu)良的新型機(jī)器學(xué)習(xí)方法。它被認(rèn)為是機(jī)器學(xué)習(xí)領(lǐng)域非常流行的方法和成功的例子。當(dāng)支持向量機(jī)應(yīng)用于實(shí)際問題時,首先面臨的是模型參數(shù)的選擇,包括支持向量機(jī)中的參數(shù)選擇和核函數(shù)參數(shù)選擇。參數(shù)的選擇直接決定著支持向量機(jī)的訓(xùn)練效率和應(yīng)用效果,因此如何選擇參數(shù)是應(yīng)用支持向量機(jī)的主要問題。本文以優(yōu)化理論為基礎(chǔ),以數(shù)學(xué)規(guī)劃為手段,對支持向量機(jī)在實(shí)際應(yīng)用中的參數(shù)優(yōu)化問題進(jìn)行研究。主要分成以下三個部分:第一部分,在統(tǒng)計學(xué)習(xí)理論基礎(chǔ)下分析了支持向量機(jī)和模糊一類支持向量機(jī)的基本模型和算法,并結(jié)合結(jié)構(gòu)風(fēng)險最小化理論,分析了模型中核參數(shù)和懲罰參數(shù)對分類機(jī)
4、性能產(chǎn)生的影響。第二部分,針對支持向量機(jī)中的參數(shù)優(yōu)化問題,本文從不同角度出發(fā)對懲罰參數(shù)和核參數(shù)采用不同的優(yōu)化更新規(guī)則。首先定義分離指標(biāo)用以描述給定數(shù)據(jù)集的樣本間的分離關(guān)系,從而建立以核參數(shù)為變量的無約束優(yōu)化問題;然后將核函數(shù)參數(shù)的最優(yōu)值代入到支持向量機(jī)中,從分類機(jī)的推廣性能出發(fā)建立一個以懲罰參數(shù)為變量的有約束優(yōu)化問題;最后采用遺傳算法求解優(yōu)化問題,與網(wǎng)格法的對比數(shù)值實(shí)驗驗證了本文方法的有效性。第三部分,針對模糊一類支持向量機(jī)模型,本文首先從理論上解釋了懲罰參數(shù)的物理意義,給出其取值范圍,并分析了支持向量機(jī)與模糊一類支持向量機(jī)的關(guān)系。然后基于遺傳算法,分別建立以核參數(shù)為變量的無約束優(yōu)化問題
5、和以懲罰參數(shù)為變量的有約束優(yōu)化問題來確定最優(yōu)參數(shù)值。數(shù)值實(shí)驗的結(jié)果表明本文提出的參數(shù)優(yōu)化方法的優(yōu)越性。關(guān)鍵詞:支持向量機(jī);核參數(shù);懲罰參數(shù);模糊一類支持向量機(jī);遺傳算法I哈爾濱工業(yè)大學(xué)理學(xué)碩士學(xué)位論文AbstractAsatechniqueofdatamining,supportvectormachine(SVM),whichisdevelopedontheframeofthestatisticallearningtheory,hasbeenanewexcellentmachinelearningmethod.SVMhasbeenconsideredasanextraordinarily
6、popularmethodandsuccessfulexampleinthefieldofmachinelearning.Whenit’sappliedtopracticalapplications,thefirstproblemconfrontedisthechoiceofmodelparameters,includingpenaltyparameterandkernelparameters.Thechoiceofparameters,whichdirectlydeterminethetrainingefficiencyandperformance,isthekeyfactorinth
7、eapplicationofSVMdirectly.Inthispaper,thechoiceoftheparameterselectionareconsideredbyusingtheoptimizationandmathematicalprogrammingmethods.Themaincontentsaredividedintothefollowingthreeparts:Inthefirstpart,basicmodelsa