hama圖并行計(jì)算框架中任務(wù)槽模型及其對(duì)作業(yè)調(diào)度性能的影響

《hama圖并行計(jì)算框架中任務(wù)槽模型及其對(duì)作業(yè)調(diào)度性能的影響》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、．擊糾乂夫著ＵＮＩＶＥＲＳＩＴＹＯＦＥＬＥＣＴＲＯＮＩＣＳＣＩＥＮＣＥＡＮＤＴＥＣＨＮＯＬＯＧＹＯＦＣＨＩＮＡ碩±學(xué)位論文ＭＡＳＴＥＲＴＨＥＳＩＳ．Ｘ３／／Ａ’＼論文題目Ｈａｍａ圖并行計(jì)算框架中任務(wù)槽模型及其對(duì)化業(yè)調(diào)度性能的影晌考學(xué)科專業(yè)軟件工程學(xué)號(hào)２０１３２１２２０１２０作者姓名陸懷宰指導(dǎo)教師琢羽教授獨(dú)劍性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加Ｗ標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，

2、也不包含為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。【：；方／作者簽名了考礦軍日期１＾年Ｊ＾月ｊ日論文使用授權(quán)本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國家有關(guān)部口或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可Ｗ將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可Ｗ采用影印、縮印或掃描等復(fù)制手段保存。、匯編學(xué)位論文（保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定簽）作者簽名：活杯坪

3、導(dǎo)師名：俗於曰期：年ＪＴ月曰＾分類號(hào)密級(jí)注1UDC學(xué)位論文Hama圖并行計(jì)算框架中任務(wù)槽模型及其對(duì)作業(yè)調(diào)度性能的影響（題名和副題名）陸懷軍（作者姓名）指導(dǎo)教師湯羽教授電子科技大學(xué)成都（姓名、職稱、單位名稱）申請(qǐng)學(xué)位級(jí)別碩士學(xué)科專業(yè)軟件工程提交論文日期2016.3.18論文答辯日期2016.4.19學(xué)位授予單位和日期電子科技大學(xué)2016年6月答辯委員會(huì)主席評(píng)閱人注1：注明《國際十進(jìn)分類法UDC》的類號(hào)。TheTaskSlotModelofHamaGraphParallelComputingFrameworkanditsInfluenceonthePerformanceo

4、fJobSchedulingAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:SoftwareEngineeringAuthor:LuHuaiJunSupervisor:Prof.TangYuSchool:SchoolofInformationandSoftwareEngineering摘要摘要如今Hadoop平臺(tái)及其相關(guān)技術(shù)已經(jīng)滲透到眾多領(lǐng)域當(dāng)中并得到廣泛使用，已經(jīng)成為大數(shù)據(jù)的代名詞。經(jīng)過幾年的迅猛發(fā)展，Hadoop平臺(tái)及其相關(guān)技術(shù)實(shí)際上已經(jīng)成為企業(yè)大數(shù)據(jù)計(jì)算的標(biāo)準(zhǔn)，

5、它的核心Map-Reduce計(jì)算框架在大規(guī)模并行處理計(jì)算方面更是發(fā)揮了巨大作用。雖然表現(xiàn)得如此優(yōu)秀，但是Hadoop仍有其不足之處，尤其是其不能適應(yīng)圖并行計(jì)算。Hama的出現(xiàn)可以彌補(bǔ)Hadoop的不足，它不僅實(shí)現(xiàn)了類似Hadoop的并行計(jì)算，而且在圖計(jì)算方面更是發(fā)揮了其特色。但由于目前Hama仍處于開發(fā)之中，很多功能還不是很完善，還不能投入到實(shí)際應(yīng)用當(dāng)中。同時(shí)Hama又是一個(gè)可進(jìn)行二次開發(fā)的圖并行計(jì)算框架，在實(shí)際應(yīng)用中可根據(jù)需求設(shè)計(jì)合適的作業(yè)調(diào)度器。如Hadoop中的公平調(diào)度器和能力調(diào)度器，就是在實(shí)際生產(chǎn)中不斷形成的兩種優(yōu)秀的作業(yè)調(diào)度器。所以可以借鑒Hadoop中兩種作業(yè)調(diào)度

6、器的設(shè)計(jì)思想，同時(shí)為了滿足實(shí)際應(yīng)用，用戶可以設(shè)計(jì)出自己的Hama圖計(jì)算作業(yè)調(diào)度器。在本文中，將先對(duì)Hadoop平臺(tái)及其生態(tài)系統(tǒng)作簡要介紹，以了解Hadoop的數(shù)據(jù)處理方式，這些內(nèi)容主要包括分布式文件系統(tǒng)HDFS以及Map-Reduce并行計(jì)算框架這兩大塊。同時(shí)，將重點(diǎn)介紹Hadoop現(xiàn)有的三種流行作業(yè)調(diào)度算法，這些算法的設(shè)計(jì)思想為本文的算法設(shè)計(jì)提供了思路及參考。接著，將通過BSP并行計(jì)算模型展開對(duì)Hama的學(xué)習(xí)，重點(diǎn)了解其超步計(jì)算的原理。結(jié)合它的功能結(jié)構(gòu)了解各個(gè)節(jié)點(diǎn)的功能及作用，并通過分析Hama源碼，從更深層次了解Hama的作業(yè)調(diào)度流程及其生命周期。根據(jù)分析及研究，并充分考

7、慮實(shí)際環(huán)境中用戶的使用及對(duì)于不同作業(yè)處理的需求，本文設(shè)計(jì)了基于Hama的任務(wù)槽模型及優(yōu)先級(jí)作業(yè)調(diào)度算法，并給出詳細(xì)的設(shè)計(jì)細(xì)節(jié)。最后，通過編程完成了整個(gè)設(shè)計(jì)并進(jìn)行功能測(cè)試，為了測(cè)試其性能還與原有調(diào)度方式進(jìn)行了對(duì)比。經(jīng)測(cè)試結(jié)果驗(yàn)證，現(xiàn)有的設(shè)計(jì)不僅彌補(bǔ)了原有調(diào)度算法的不足，實(shí)現(xiàn)了多用戶共享集群資源并使資源得到充分利用，而且還表現(xiàn)出了比原有設(shè)計(jì)更佳的性能。關(guān)鍵詞：任務(wù)槽模型，多層級(jí)，作業(yè)調(diào)度，優(yōu)先級(jí)IABSTRACTABSTRACTNowadays,Hadoopplatformandrelatedtechnol