支持向量機(jī)的若干算法研究

《支持向量機(jī)的若干算法研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、分類號：TP181密級：公開UDC：單位代碼：10424學(xué)位論文支持向量機(jī)的若干算法研究胡運(yùn)紅申請學(xué)位級別：博士學(xué)位專業(yè)名稱：計算機(jī)軟件與理論指導(dǎo)教師姓名：賀國平職稱：教授山東科技大學(xué)二零一一年五月論文題目：支持向量機(jī)的若干算法研究作者姓名：胡運(yùn)紅入學(xué)時間：2008年9月專業(yè)名稱：計算機(jī)軟件與理論研究方向：知識處理與數(shù)據(jù)挖掘指導(dǎo)教師：賀國平職稱：教授論文提交日期：2011年4月20日論文答辯日期：2011年6月11日授予學(xué)位日期：2011年6月24日SOMEAlGORITHMSRESEARCHONSUPPOR

2、TVECTORMACHINESADissertationsubmittedinfulfillmentoftherequirementsofthedegreeofDOCTOROFPHILOSOPHYfromShandongUniversityofScienceandTechnologybyHuYunhongSupervisor:ProfessorHeGuopingCollegeofInformationScienceandEngineeringMay2011聲明本人呈交給山東科技大學(xué)的這篇博士學(xué)位論文，除了所列

3、參考文獻(xiàn)和世所公認(rèn)的文獻(xiàn)外，全部是本人在導(dǎo)師指導(dǎo)下的研究成果.該論文資料尚沒有呈交于其它任何學(xué)術(shù)機(jī)關(guān)作鑒定.博士生簽名：日期：AFFIRMATIONIdeclarethatthisdissertation,submittedinfulfillmentoftherequirementsfortheawardofDoctorofPhilosophyinShandongUniversityofScienceandTechnology,iswhollymyownworkunlessreferencedofacknow

4、ledge.Thedocumenthasnotbeensubmittedforqualificationatanyotheracademicinstitute.Signature:Date:山東科技大學(xué)博士學(xué)位論文摘要摘要支持向量機(jī)是一種通用的學(xué)習(xí)機(jī)器,是數(shù)據(jù)挖掘中的一項新技術(shù)，是借助于最優(yōu)化方法解決機(jī)器學(xué)習(xí)問題的新工具.其核心問題是對一個大規(guī)模凸二次規(guī)劃問題進(jìn)行求解.分解算法是求解支持向量機(jī)的一類基于工作集選擇的有效算法.隱私保護(hù)支持向量機(jī)算法則是在隱私保護(hù)數(shù)據(jù)挖掘算法基礎(chǔ)上新興起來的一個研究方向，在銀行、

5、保險公司、醫(yī)學(xué)研究機(jī)構(gòu)等行業(yè)有著廣泛的應(yīng)用.本文主要研究求解支持向量機(jī)的簡化分解算法和針對分布式數(shù)據(jù)的隱私保護(hù)支持向量機(jī)算法，主要工作如下：首先，通過回顧支持向量機(jī)算法的發(fā)展過程及總結(jié)其研究現(xiàn)狀，引出本文所做的主要工作.考慮到無論是原始支持向量機(jī)模型，還是本文重點(diǎn)討論的隱私保護(hù)支持向量機(jī)模型，其本質(zhì)問題是對一個大規(guī)模凸二次規(guī)劃的求解，因此本文首先從研究支持向量機(jī)和對應(yīng)乘子之間的關(guān)系著手，并給出一個新的分解算法.第二章中，基于支持向量機(jī)模型中支持向量的重要性，對支持向量和對應(yīng)乘子之間的關(guān)系進(jìn)行了理論分析，并借助

6、圖形，直觀地分析了支持向量相對于決策面的幾何關(guān)系.同時，通過對簡化算法的終止條件及工作集選擇的分析，探討了違背和最大違背KKT條件對的幾何含義，為直觀理解終止條件及工作集選擇方案提供理論依據(jù).第三章中，通過對求解大規(guī)模支持向量機(jī)的分解算法中各種工作集選擇方法的優(yōu)劣進(jìn)行比較，提出一類求解基于帶有線性等式和上下界約束優(yōu)化問題的大規(guī)模支持向量機(jī)模型的新分解算法.該算法每次迭代的可行下降方向從具有偶數(shù)個分量的相對稀疏可行方向中選取.在假設(shè)水平方向集中至少有一組下標(biāo)對應(yīng)的分量嚴(yán)格在上下界之間的前提下，證明了算法的全局收

7、斂性，并通過數(shù)值實驗驗證了算法的有效性.本文的下半部分，主要研究隱私保護(hù)支持向量機(jī)算法.第四章和第五章，分別針對數(shù)據(jù)垂直分布與水平分布的情況，提出了兩個隱私保護(hù)支持向量機(jī)算法.對于數(shù)據(jù)垂直分布的情形，算法直接基于矩陣分解的理論，給出的分類器是公開的，但是未泄露任何參與方的原始數(shù)據(jù).對于數(shù)據(jù)水平分布的情況，與已有的SVM分類器不同，算法借助了安全多方計算的加密技術(shù)，給出的分類器是公開的，同樣也未揭露任何參與方的原始數(shù)據(jù).利用矩陣分解理論證明了算法的可行性.數(shù)值實驗表明我們給出的隱私保護(hù)支持向量機(jī)算法的分類精度要

8、比Mangasrian的簡約隱私保護(hù)支持向量機(jī)算法的分類精度高.第六章，針對數(shù)據(jù)任意分割的情況，利用數(shù)據(jù)水平分布情況下的矩陣乘積的安全性策略，提出了一個隱私保護(hù)支持向量機(jī)算法，在未揭露任何參與方的原始數(shù)據(jù)的情況下山東科技大學(xué)博士學(xué)位論文摘要給出了公開的分類器.該算法的分類精度比Mangasarian給出的簡約隱私保護(hù)支持向量機(jī)算法的分類精度高.最后利用矩陣分解理論證明了該算法是可行的和有效的.最后，