資源描述：
《基于間隔理論的boosting算法》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、基基基于于于間間間隔隔隔理理理論論論的的的Boosting算算算法法法Boostingalgorithmsviamargintheory學(xué)科專業(yè)：計算機科學(xué)與技術(shù)作者姓名：劉川指導(dǎo)教師：廖士中教授天津大學(xué)計算機科學(xué)與技術(shù)學(xué)院二零一五年十二月摘要間隔理論是Boosting算法泛化性分析的關(guān)鍵，因此，基于間隔理論的Boosting算法設(shè)計成為當前重要的研究課題。本文基于最新間隔理論成果，首先定義一種近似最優(yōu)的間隔分布(k?-最優(yōu)間隔分布)。與AdaBoost生成的間隔分布相比，k?-最優(yōu)間隔分布能夠得到更緊的泛化
2、界，因而具有更好的泛化性。在此基礎(chǔ)上，提出兩種策略KM-Boosting及MD-Boosting去近似k?-最優(yōu)間隔分布。其次，針對現(xiàn)有間隔分布泛化界難以計算的特點，推導(dǎo)基于經(jīng)驗間隔分布一階矩和二階矩的Boosting泛化誤差界(Boosting的矩泛化界)，該泛化誤差界可更直接地刻畫間隔分布對Boosting的影響。然后，依據(jù)所推導(dǎo)的Boosting的矩泛化界，給出Boosting算法的模型選擇準則(Boosting的矩準則)，該準則最大化間隔分布的一階矩同時最小化間隔分布的二階矩。采用列生成實現(xiàn)該準則，進
3、一步提出矩優(yōu)化的Boosting算法。最后，實驗結(jié)果表明，本文的方法是有效且可靠的，與理論分析一致。關(guān)鍵詞：Boosting算法，間隔分布，泛化界，矩，模型選則IABSTRACTMargintheoryiscrucialtothegeneralizationanalysisofBoostingalgorithms,asaresult,Boostingalgorithmsviamargintheorybecomesanimportantresearchissue.Thisthesis?rstde?nethek?
4、-optimizationmargindistributionthatisapproximatelyoptimal.ComparedwiththemargindistributiongeneratedbyAdaBoost,ithassharpergeneralizationerrorbound,andthusleadtobettergeneralizationability.Onthisbasis,weproposetwostrategies,KM-BoostingandMD-Boosting,toappro
5、achthek?-optimizationmargindistribution.Next,aimingatthedrawbackthattheexistingmargin-basedgeneralizationboundsaredi?culttocompute,wederiveamomentgeneralizationbound,whichisageneralizationerrorboundforBoostingintermsofthe?rstandsecondarymomentofthemargindis
6、tri-bution,andrevealsthecloserrelationshipbetweenmargindistributionandgeneralizationerror.ThenwepresentamomentcriterionforBoostingmodelselection,whichisbasedonthemomentgeneralizationboundandobtainedbymaximizingthe?rstmomentandmini-mizingthesecondmomentofthe
7、margindistribution.Wefurtherdevelopamoment-basedBoostingalgorithmbyadoptingcolumngenerationtoimplementthecriteria.Finally,Experimentalresultsshowourmethodsaresoundande?cient,whichconsis-tentwiththetheoreticalanalysis.KEYWORDS:Boostingalgorithm,Margindistrib
8、ution,Generalizationbound,Mo-ment,ModelselectionII目錄摘要..........................................................................................................................IABSTRACT................
