支持向量機在機器學習中的應用研究

《支持向量機在機器學習中的應用研究》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在學術論文-天天文庫。

1、西南交通大學博士學位論文支持向量機在機器學習中的應用研究姓名：羅瑜申請學位級別：博士專業(yè)：交通信息工程及控制指導教師：何大可20071001西南交通大學博士研究生學位論文第1頁摘要近十年來，基于統(tǒng)計學習理論的支持向量機方法逐漸成為機器學習的重要研究方向。與傳統(tǒng)的基于經(jīng)驗風險最小化原則的學習方法不同，支持向量機基于結構風險最小化，能在訓練誤差和分類器容量之間達到一個較好的平衡，它具有全局最優(yōu)、適應性強、推廣能力強等優(yōu)點。但是直到目前為止，支持向量機方法還存在一些問題，例如訓練時間過長、核參數(shù)的選擇等，成為限制支持向量機應用的瓶頸。本文的研究主

2、要圍繞以上兩個問題展開，研究結果在多個國際通用的基準數(shù)據(jù)集上進行驗證。論文的主要成果如下：1)系統(tǒng)地研究了支持向量機的訓練方法。目前支持向量機的訓練算法是以序貫最小最優(yōu)化(SMO)為代表的，其中工作集的選擇是實現(xiàn)SMO算法的關鍵。本文對基于Zoutendijk最大下降方向法和函數(shù)逼近的工作集選擇方式進行了總結和整理，并對這種選擇策略重新進行了嚴格的數(shù)學推導。研究指出，當二次規(guī)劃問題的Gram矩陣在非正定的情況下，目前存在的工作集選擇算法存在某些不足。21對于大規(guī)模訓練集的縮減研究。支持向量機在小樣本情況下具有優(yōu)于別的機器學習算法的性能，但并

3、不意味著支持向量機只限于應用在小樣本情況?，F(xiàn)實中的問題大多具有大規(guī)模的樣本，雖然目前有了以SMO為代表的快速訓練算法，但對于大規(guī)模訓練集仍然存在訓練時間過長的缺點，不能滿足實時性的要求。本文根據(jù)支持向量的幾何分布，提出了在原輸入空間和高維映射空間中預選支持向量的兩種方法。原輸入空間預選支持向量方法是受啟發(fā)于最近鄰規(guī)則，通過與支持向量的幾何分布結合，使用Delaunay三角網(wǎng)絡尋求包含支持向量的邊界集的原理。受聚類方法的啟發(fā)，基于樣本類別質心的方法實現(xiàn)了高維特征空間支持向量的預選。實驗證明這兩種支持向量預選策略是有效的，在大幅縮減訓練時間的同

4、時基本不損失SVM的推廣能力和預測性能。3)對支持向量機模型選擇的研究。支持向量機通過核函數(shù)將樣本從輸入空間映射到高維特征空間(Hilbert空間)，從而實現(xiàn)在特征空間中尋求線性判別超平面。但是，不同的核對應著不同的特征空間，而支持向量機的訓練結果在不同的核映射下往往有不同的效果。本文通過對像集線性可分第1

5、頁西南交通大學博士研究生學位論文程度和模型復雜程度的估計，尋找可以使學習機器具有良好推廣能力的特征空間，并以此為標準實現(xiàn)核的選擇。特征空間確定之后，分析懲罰因子與間隔寬度之間的關系，通過間隔寬度實現(xiàn)對懲罰因子的選擇。本文的模型選擇方法并

6、不尋求核函數(shù)、懲罰因子與學習機器推廣能力之間的解析表達式，而是以間接的方法估計參數(shù)對學習機器推廣能力的影響，指導模型的選擇。4)對機器學習的實際應用的研究。本文對機器學習的重要問題——人臉識別進行了研究，提出了一種基于關鍵部件的人臉識別方法。由于一對余多類分類算法缺乏理論上的依據(jù)，本文以后驗概率作為支持向量機的輸出，實現(xiàn)了以相似度為判別標準的多類分類算法。對ORL和YALE人臉圖像數(shù)據(jù)庫進行仿真實驗，結果表明，該方法具有對表情、姿態(tài)以及角度的變化具有較好的魯棒性。本文研究了SW在金融領域的一個典型應用一一個人信用評估，主要探討了基于SVM的

7、特征選擇和提取方法(遺傳算法和主分量分析法)的實際應用效果。實證分析表明，小樣本信用數(shù)據(jù)下SVM的準確度和推廣性能顯著好于BP神經(jīng)網(wǎng)絡；基于遺傳算法的SⅥ訌能使銀行檢測出信用評級的關鍵決定因素。這對于我國銀行進行個人信用評價具有重要的現(xiàn)實意義。關鍵詞：支持向量機；機器學習；模式分類；推廣能力；訓練算法；訓練集縮減策略，支持向量：模型選擇；人臉識別；信用評估西南交通大學博士研究生學位論文第

8、Il頁AbstractDuringthelastdecades，themethodofSupportVectorMachine(SVM)basedonth

9、eStatisticalLearningTheorybecameallimportantresearchfieldinmachinelearning．Differentfromthosetraditionalalgorithmsbasedonempiricalriskminimizationrule．SVMiShasedonstructuralriskminimizationrole．SoSVMcanachieveagoodbalancebetweenempiricalriskandclassifiercapacity．Inaddition

10、，SVMhasotheradvantagessuchasglobaloptimization，excellentadaptabilityandgeneralizationabil