資源描述：
《基于Hama并行計算框架的多層級作業(yè)調(diào)度算法的研究及實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在學術(shù)論文-天天文庫。
1、電子科技大學UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA碩士學位論文MASTERTHESIS論文題目基于Hama并行計算框架的多層級作業(yè)調(diào)度算法的研究及實現(xiàn)學科專業(yè)計算機系統(tǒng)結(jié)構(gòu)學號201121060259作者姓名胡月勝指導教師湯羽教授分類號密級注1UDC學位論文基于Hama并行計算框架的多層級作業(yè)調(diào)度算法的研究及實現(xiàn)（題名和副題名）胡月勝（作者姓名）指導教師湯羽教授電子科技大學（姓名、職稱、單位名稱）申請學位級別碩士學科專業(yè)計算機系統(tǒng)結(jié)構(gòu)提交論文日期2014年3月26日論文答辯日期2014年5月12日學
2、位授予單位和日期電子科技大學2014年6月29日答辯委員會主席評閱人注1：注明《國際十進分類法UDC》的類號。RESEARCHANDIMPLEMENTATIONOFMULTI-LAYERJOBSCHEDULINGALGORITHMBASEDONHAMAPARALLELCOMPUTINGFRAMEWOKRAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerSystemOrganizationAuthor:HuYueshengAdvisor:
3、ProfessorTangYuSchool:SchoolofComputerScience&Engineering獨創(chuàng)性聲明本人聲明所呈交的學位論文是本人在導師指導下進行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得電子科技大學或其它教育機構(gòu)的學位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。作者簽名：日期：年月日論文使用授權(quán)本學位論文作者完全了解電子科技大學有關保留、使用學位論文的規(guī)定，有權(quán)保留并向國家有關部門或機構(gòu)
4、送交論文的復印件和磁盤，允許論文被查閱和借閱。本人授權(quán)電子科技大學可以將學位論文的全部或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復制手段保存、匯編學位論文。（保密的學位論文在解密后應遵守此規(guī)定）作者簽名：導師簽名：日期：年月日摘要摘要隨著大數(shù)據(jù)技術(shù)在業(yè)界和學術(shù)界的發(fā)展，大量的分布式計算平臺投入運行，其中以ApacheHadoop平臺應用最為廣泛。Hadoop屏蔽了分布式系統(tǒng)的底層實現(xiàn)細節(jié)，使得應用程序開發(fā)人員可以更加專注于算法邏輯的實現(xiàn)。但是，Hadoop也有其局限性，在處理如圖計算以及機器學習等問題時，其效率并不高?；贐SP（BulkS
5、ynchronousParallel）模型的ApacheHama并行計算框架的出現(xiàn)，彌補了Hadoop的這一缺點。但是，由于Hama創(chuàng)建時間不長，發(fā)展時間較短，在很多地方仍需繼續(xù)改進，尤其是其核心模塊—作業(yè)調(diào)度器。Hama目前使用的先來先服務作業(yè)調(diào)度算法，不僅無法高效的實現(xiàn)多用戶共享集群，而且還會對集群的資源利用率造成很大的影響。本文的目的就是實現(xiàn)一種新的基于Hama并行計算框架的作業(yè)調(diào)度算法，彌補Hama先來先服務作業(yè)調(diào)度算法的缺點，提高其資源利用水平，并為Hama的作業(yè)調(diào)度提供更大的靈活性，以滿足其未來一段時間內(nèi)的發(fā)展需求。為了達成這一目的，本文的主要工
6、作和貢獻包括：首先，通過研讀Hama并行計算框架的源代碼，剖析了Hama的系統(tǒng)架構(gòu)，介紹了BSP模型在Hama中的實現(xiàn)，總結(jié)了Hama作業(yè)的運行流程，研究了Hama的調(diào)度框架以及其先來先服務作業(yè)調(diào)度算法。與此同時，還對Hama中涉及到的HDFS及MapReduce的相關技術(shù)進行了總結(jié)，并分析總結(jié)了MapReduce與Hama在調(diào)度模式上的不同之處。隨后，以上述研究的成果為基礎，再結(jié)合BSP模型的自身特點，設計并實現(xiàn)了基于Hama并行計算框架的多層級作業(yè)調(diào)度算法，并對該算法的設計思想以及實現(xiàn)過程進行了詳細的介紹。最后，對多層級作業(yè)調(diào)度算法進行了實驗驗證及性能測
7、試。實驗結(jié)果表明多層級作業(yè)調(diào)度算法成功的實現(xiàn)了預期的設計目標，解決了Hama先來先服務作業(yè)調(diào)度算法的不足之處，提高了Hama集群的資源利用能力，并在與Hama先來先服務作業(yè)調(diào)度器的性能對比測試中表現(xiàn)較為出色。關鍵詞：ApacheHama，BSP模型，分布式計算，作業(yè)調(diào)度算法IABSTRACTABSTRACTWiththedevelopmentoftheBigDatatechnologiesinindustryandacademia,alargenumberofdistributedcomputingplatformsbeenconstructed.Themo
8、stwidelyusedoneisApacheHad
