資源描述：
《Adaboost人工神經(jīng)網(wǎng)絡(luò)集成.docx》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、Adaboost人工神經(jīng)網(wǎng)絡(luò)集成（同濟(jì)大學(xué)電子與信息工程學(xué)院，上海）摘要：Adaboost算法可以將分類效果一般的弱分類器提升為分類效果理想的強(qiáng)分類器，而且不需要預(yù)先知道弱分類器的錯誤率上限，這樣就可以應(yīng)用很多分類效果不穩(wěn)定的算法來作為Adaboost算法的弱分類器。由于BP神經(jīng)網(wǎng)絡(luò)算法自身存在的局限性和對訓(xùn)練樣本進(jìn)行選擇的主觀性，其分類精度以及擴(kuò)展性有待提高。將Adaboost算法與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，使用神經(jīng)網(wǎng)絡(luò)分類模型作為Adaboost算法的弱分類器。算法在Java中實(shí)現(xiàn)，對UCI中的鳶尾花數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，結(jié)果表明Adaboost能有效改善BP神經(jīng)網(wǎng)絡(luò)的不足，提高分類正確率和
2、泛化率。關(guān)鍵詞：弱分類器；強(qiáng)分類器；BP神經(jīng)網(wǎng)絡(luò)；Adaboost算法TheEnsembleClassificationofAdaboostandBPHUZuoLiang(TongjiUniversityofCollegeofElectronics&InformationEngineering,Shanghai,China)Abstract:Adaboostalgorithmcanpromoteaweakclassifiertoastrongclassifierwithoutknowingtheerrorrateupperlimitoftheweakclassifierinadvan
3、ce.SoalotofclassifierswhicharenotsostablecanbeusedasweakclassifiersinAdaboostalgorithm.BecauseofthelimitationandsubjectivityintrainingsamplesselectionoftheBPneuralnetworkalgorithm,itsclassificationaccuracyandscalabilityneedtobeimproved.SotheAdaboostalgorithmiscombinedwithBPneuralnetwork.inwhich
4、theneuralnetworkclassificationmodelisusedasaweakclassifier.AlgorithmisrealizedinJava,andtheIrisDatasetofUCIdatasetsisusedtodotheexperiment.TheresultsshowthatAdaboostcaneffectivelyovercometheshortcomingsofBPneuralnetwork,improvetheclassificationaccuracyandtherateofgeneralization.Keywords：weakcla
5、ssifier；strongclassifier；BPNeuralNetwork；Adaboostalgorithm1引言BP神經(jīng)網(wǎng)絡(luò)在分類算法中有廣泛的應(yīng)用，但是由于BP神經(jīng)網(wǎng)絡(luò)本質(zhì)上是梯度下降法，當(dāng)遇到比較復(fù)雜的目標(biāo)函數(shù)時(shí)，其學(xué)習(xí)速度和收斂速度會變得很慢，導(dǎo)致訓(xùn)練失敗的可能性較大。而Adaboost能夠提升任意精度的弱分類器為強(qiáng)分類器，它的核心思想是通過對一個(gè)訓(xùn)練集訓(xùn)練得到多個(gè)分類結(jié)果，最后將它們集成起來。在BP神經(jīng)網(wǎng)絡(luò)中引入Adaboost算法作為分類器，可以彌補(bǔ)BP神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)，能提高分類準(zhǔn)確率和泛化率。2Adaboost-NN算法介紹2.1Boosting算法Boosti
6、ng算法由Schapire和Freund在1990年提出，是最早提出的集成學(xué)習(xí)算法，是一種有效提高分類學(xué)習(xí)系統(tǒng)分類能力的算法。Boosting算法操縱訓(xùn)練樣本來產(chǎn)生多個(gè)分類假設(shè)，從而建立通過加權(quán)投票結(jié)合的分類器集合，其過程如下：(1)首先對含有N條數(shù)據(jù)的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，得到第一個(gè)弱分類器；(2)將在前面學(xué)習(xí)過程中分錯的樣本加上其他新數(shù)據(jù)，構(gòu)成一個(gè)新的含N個(gè)數(shù)據(jù)的訓(xùn)練樣本集，對這個(gè)訓(xùn)練樣本集進(jìn)行訓(xùn)練學(xué)習(xí)，得到新的分類器；(3)把在步驟(1)和(2)中都分錯了的樣本加上其他新數(shù)據(jù)，構(gòu)成另一個(gè)新的包N個(gè)數(shù)據(jù)的訓(xùn)練樣本集，對這個(gè)樣本集進(jìn)行訓(xùn)練學(xué)習(xí)得到新的分類器；(4)最后通過對全部得到的弱
7、分類器進(jìn)行加權(quán)投票表決得到強(qiáng)分類器，即某樣本被分為哪一類要通過全部弱分類器的加權(quán)投票表決。Boosting算法需要解決兩個(gè)主要問題：(1)怎樣調(diào)整訓(xùn)練集里的樣本分布，從而使訓(xùn)練集產(chǎn)生適合的弱分類器；(2)怎么把訓(xùn)練所得弱分類器集成得到效果更好的強(qiáng)分類器。2.2Adaboost算法Adaboost算法是Schapire和Freund在1995年提出的，其關(guān)鍵思想是根據(jù)每次訓(xùn)練過程中，樣本集內(nèi)每個(gè)樣本的分類結(jié)果是否正確來改變數(shù)據(jù)樣本分布，即修改樣本的權(quán)值。修改
