基于人工蜂群算法的hadoop調(diào)度算法研究與改進(jìn)

《基于人工蜂群算法的hadoop調(diào)度算法研究與改進(jìn)》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、中圖分類號：TP399密級：公開UDC：620學(xué)校代碼：11832河北經(jīng)貿(mào)大學(xué)碩士學(xué)位論文（學(xué)歷碩士）基于人工蜂群算法的Hadoop調(diào)度算法研究與改進(jìn)ResearchandimprovementofHadoopschedulingalgorithmbasedonartificialbeecolonyalgorithm作者姓名：趙樹超指導(dǎo)教師：王素貞教授學(xué)科專業(yè)名稱：計(jì)算機(jī)軟件與理論論文完成日期：2016年3月二〇一六年三月二十八日I中圖分類號：TP399密級：公開UDC：620學(xué)校代碼：11832河北經(jīng)貿(mào)大學(xué)

2、碩士學(xué)位論文（學(xué)歷碩士）基于人工蜂群算法的Hadoop調(diào)度算法研究與改進(jìn)ResearchandimprovementofHadoopschedulingalgorithmbasedonartificialbeecolonyalgorithm作者姓名：趙樹超指導(dǎo)教師：王素貞教授學(xué)科專業(yè)名稱：計(jì)算機(jī)軟件與理論論文完成日期：2016年3月I學(xué)位論文原創(chuàng)性聲明本人所提交的學(xué)位論文《基于人工蜂群算法的Ｈａｄｏｏｐ調(diào)度算法研究與改進(jìn)》，是。在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的原創(chuàng)性成果除文中己經(jīng)注明引用的內(nèi)容

3、外，本論文不包含任何其他個人或集體己經(jīng)發(fā)表或撰寫過的研究成果。對本文的研究做。出重耍貢獻(xiàn)的個人和集體，均ｄ在文中標(biāo)明本聲明的法律后果由本人承擔(dān)。文論文作者（簽名）；豁指導(dǎo)教師確認(rèn)（簽名）；＾起姑＾＾１年／月曰年＾月レ曰；（學(xué)位論文版校使用授巧書本學(xué)位論義作者完全／解河北經(jīng)貿(mào)大學(xué)有權(quán)保留并向圍家有關(guān)部口或機(jī)構(gòu)送交學(xué)位論文的復(fù)印件和擺盤Ｌ義將學(xué)位論，允許論文被查閱和借閱。本人授權(quán)河北經(jīng)貿(mào)大學(xué)可丈的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)巧檢秦，可采用影印、縮印或其它復(fù)制手段保

4、存、匯編學(xué)位論文。（保密的學(xué)位論文在年解密后適用本授權(quán)ｔ；）■論文作者（簽名）：趙如起搞導(dǎo)教師（簽名）：不心年＾月ＶＧｗ／年／月Ｌ曰摘要群智能優(yōu)化算法在解決NP類問題具有較高的效率和收斂速度，已經(jīng)得到國內(nèi)外越來越多的研究者和工程技術(shù)人員的關(guān)注，群智能優(yōu)化算法已經(jīng)成為解決云計(jì)算資源調(diào)度問題主要研究方向之一。目前對群智能優(yōu)化算法的研究主要有兩個方向，一是對某一群智能算法進(jìn)行深入研究，通過改善自身缺點(diǎn)，吸收引進(jìn)其他智能優(yōu)化算法的特性進(jìn)行改進(jìn)和優(yōu)化，二是將多種群智能算法通過不同的方式進(jìn)行結(jié)合，取

5、長補(bǔ)短，產(chǎn)生新的智能算法。本文也分別從這兩個方向上入手進(jìn)行研究，目的是優(yōu)化云計(jì)算平臺資源調(diào)度，具體選擇Hadoop云計(jì)算平臺，改進(jìn)Hadoop集群的資源調(diào)度效率。本文的目的是通過改進(jìn)智能優(yōu)化算法或結(jié)合多個優(yōu)化算法的生成新的算法對Hadoop的資源調(diào)度給多個任務(wù)，找出任務(wù)總完成時間的極小值。首先對幾種較成熟的優(yōu)化算法進(jìn)行對比，通過對各智能優(yōu)化算法各優(yōu)缺點(diǎn)的分析發(fā)現(xiàn)，人工蜂群算法與其他算法相比對問題維數(shù)不太敏感，適合于求解高維問題，并且具有控制參數(shù)少、魯棒性強(qiáng)、收斂速度快等優(yōu)點(diǎn)，對于解決云資源調(diào)度問題具有十分明顯

6、的優(yōu)勢。因此本文針對人工蜂群算法提出了以下2種算法改進(jìn)思路：(1)基于改進(jìn)的人工蜂群算法的hadoop作業(yè)調(diào)度研究針對人工蜂群算法易于陷入局部極值的問題，首先引進(jìn)高斯變異思想，提升人工蜂群的局部搜索能力，然后引進(jìn)自適應(yīng)因子，動態(tài)調(diào)整蜂群的尋優(yōu)策略，加快搜索速度，提高搜索能力，優(yōu)化了云計(jì)算資源的調(diào)度策略，提高了資源利用率，減少了任務(wù)的完成時間。(2)基于差分-蜂群混合調(diào)度算法的hadoop作業(yè)調(diào)度研究將群智能優(yōu)化算法中的兩個或多個算法進(jìn)行按照一定策略進(jìn)行融合，會發(fā)揮各自的特點(diǎn)，實(shí)際效果超過任何一個單獨(dú)的優(yōu)化算法

7、。因此本文提出了一種差分-蜂群混合作業(yè)調(diào)度算法，用于大規(guī)模并行計(jì)算時進(jìn)行資源調(diào)度，發(fā)揮兩個算法各自的優(yōu)勢，可以減少算法的收斂時間和迭代次數(shù)，取得穩(wěn)定有效的最優(yōu)解，最大限度地提云計(jì)算資源調(diào)度的效率。最后通過搭建Hadoop集群，在集群上實(shí)現(xiàn)并驗(yàn)證了改進(jìn)的人工蜂群調(diào)度算法和差分-蜂群混合調(diào)度算法，通過多次實(shí)驗(yàn)分析，選擇最適合的參數(shù)值，以保證算法達(dá)到最佳性能。通過實(shí)驗(yàn)，對優(yōu)化后的算法的性能進(jìn)行了測試，并與Hadoop的原調(diào)度算法進(jìn)III行了比較。對實(shí)驗(yàn)結(jié)果分析比較得出的結(jié)論是：改進(jìn)后的人工算法和混合算法縮短了作業(yè)的

8、總的完成時間，在一定程度上提升了集群的效率。關(guān)鍵詞:云資源調(diào)度Hadoop集群人工蜂群算法差分-蜂群混合算法IVAbstractSwarmintelligenceoptimizationalgorithmhashighefficiencyandconvergencespeedinsolvingNPproblems,whichhasgottheattentionofmoreandmoredomesti