資源描述:
《基于支持向量機的分類算法研究》由會員上傳分享,免費在線閱讀,更多相關內容在學術論文-天天文庫。
1、東北電力大學碩士學位論文基于支持向量機的分類算法研究姓名:李小英申請學位級別:碩士專業(yè):檢測技術與自動化裝置指導教師:門洪20080301摘要摘要傳統(tǒng)的模式識別方法在處理問題時通常需要建立準確的數學模型,而且在解決菲線性問題時很難有好的表現。許多傳統(tǒng)統(tǒng)計學習方法都將基于樣本數目趨于無窮大時的漸近理論作為假設,這些方法在實際應用中,往往表現不盡人意。支持向量機在解決建立模型難,維數災難方面有很好表現,并且存小樣本數據中有良好應用。正在成為繼模式識別和神經網絡研究之后機器學習領域新的研究熱點。本文在統(tǒng)計學習理論基礎上深
2、入探討了支持向量機算法及其在分類中的應用。分類實驗分三組進行,選擇多項式和徑向基兩種核函數的支持向量機進行分類仿真實驗研究。在分類實驗中,我們發(fā)現支持向量的數量遠遠小于樣本數,這為我們解決大規(guī)模數據問題提供了方法。將訓練樣本集分解成若干個小子集,按順序對各子集逐個訓練學習,避免了大規(guī)模數據計算的麻煩。實驗中采用不同規(guī)模的訓練樣本集,從結果發(fā)現對于訓練樣本較少的數據集,采用結構簡單的學習函數會避免出現過學習現象;相反對于訓練樣本較多的數據集,采用結構簡單的學習函數,會降低機器學習的推廣能力。在實驗中引進懲罰因子C,允
3、許訓練時錯分樣本的存在,適當增大C的值,可以提高學習機的推廣能力。支持向量機在尋求最優(yōu)分類面的過程中,只涉及到內積運算,避免了維數災難問題。由于在中等規(guī)模數據中,支持向量機的參數會影響到分類結果,為了得到最佳的分類精度,我們采用交叉驗證方法選擇參數值,結果表明,交叉驗證法選擇參數提高了實驗的平均測試準確率。最后,把實驗仿真結果和神經網絡算法結果相比較,結果表明支持向量機分類算法優(yōu)于神經網絡算法。關鍵詞:支持向量機;模式識另q;統(tǒng)計學理論;神經網絡東北電力大學碩上學位論文AbstractThetraditionalp
4、atternrecognitionmethodsdealwiththeissuewimtheaccuratemodel.Itisalsodifficulttohaveagoodshowingagainstthenon—linearproblem.Thetraditionalstatisticallearningtheoryisasymptotictheorybasedonthenumberofthesampletendingtoinfinity.Practicalapplicationsofthesemethods
5、areoftenunsatisfactory.Thesupportvectormachineshavegooddisplaysinsolvingmodelingandthedimensiondisaster.Ithasalsothegoodapplicationinthesmallsamples。Itisbecominganewhotspotinthemachinelearningdomain.Thisthesisdiscussestheprincipleofthesupportvectormachineandit
6、sapplicationinclassification.Theexperimentsaredividedintothreegroupsandtwokindsofsupportvectormachinesforpolynomialkernelandradialbasisfunctionalechosentoexperimentbychangingtheparametervalues.Intheclassificationexperiment,wefindthatthenumberofthesupportvector
7、isfarlessthanthenumberofthetrainingsamplenumber.Thisprovidesthemethodforustosolvethelarge·scaledataproblembydividingtrainsamplesintoseveralsmallsubsetsandsequentiallytrainingsubsetsonebyone.Differentsizetrainingsamplesarechosenintheexperiments.Theresultsshowth
8、at,basedonstructuralriskminimizationprinciple,thelesstrainingsamples,usingsimplestructurelearningfunction,willbetoavoidaoverfittingphenomenon.Contrarytomoretrainingsamples,slightly