資源描述：
《基于hadoop平臺的作業(yè)調(diào)度技術(shù)研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、西安建筑科技大學(xué)碩士學(xué)位論文基于Hadoop平臺的作業(yè)調(diào)度技術(shù)研究專業(yè)：計算機(jī)應(yīng)用技術(shù)碩士生：王皎指導(dǎo)教師：董麗麗摘要隨著數(shù)據(jù)規(guī)模的急速增大，應(yīng)用種類的極大豐富，個人用戶和企業(yè)對信息的需求已經(jīng)遠(yuǎn)遠(yuǎn)超過了原有平臺的能力。越來越多的應(yīng)用和平臺，不論對企業(yè)級還是個人級用戶都不堪重負(fù)，Hadoop平臺作為一個開源的，且運(yùn)行在集群上的大型數(shù)據(jù)庫處理框架得到了廣泛應(yīng)用，然而由于Hadoop還比較年輕，在很多地方還有改進(jìn)和修改的可能。本文通過廣泛的調(diào)研，介紹了云計算的定義和關(guān)鍵技術(shù)，對基于云計算的Hadoop平臺的兩大核心Ma
2、preduce和HDFS進(jìn)行了深入的研究。論文重點(diǎn)分析了現(xiàn)有的3種調(diào)度算法：先入先出調(diào)度算法（FIFO）、公平調(diào)度算法(Fair-Scheduler)和計算能力調(diào)度算法(CapacityScheduler)的設(shè)計思路和優(yōu)缺點(diǎn)，并針對Hadoop的參數(shù)過多難以設(shè)置和調(diào)度算法過多難以選擇的問題，提出了一種海量數(shù)據(jù)的抽樣算法，設(shè)計了基于該算法的改進(jìn)Hadoop框架，即在原有框架基礎(chǔ)上加入了策略選擇層，從而解決上述兩個問題。最后對Hadoop平臺重新打包并進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，和以前版本相比，其處理海量數(shù)據(jù)問題的性
3、能有了明顯的改進(jìn)。關(guān)鍵詞：Hadoop；Mapreduce；HDFS；調(diào)度算法；策略選擇層論文類型：應(yīng)用研究西安建筑科技大學(xué)碩士學(xué)位論文ResearchofJobSchedulingtechnologyinHadoopPlatformMajor:ComputerApplicationandTechnologyName:WangJiaoInstructor:Prof.DonngLiliAbstractWiththerapidincreaseofdatasizeandthegreatwealthoftheapplic
4、ationtypes,thedemandofinformationtoconsumerandcorporatefarexceedstheabilityoftheoriginalplatform.enterprise-levelorindividual-levelisoverwhelmedbymoreandmoreapplicationsandplatfom.theHadoopplatformasanopensourceframeworkwhichhandlelargedatabaserunningontheclu
5、sterbecomesmoreandmorepopular.however,Hadoopisstillyoung,Therearemanyplaceshavethepossibilitytomakechangesandimprovements.Throughextensiveresearch,thispaperintroducesthedefinitionofcloudcopmutingandkeytechnologies,In-depthresearchsontheMapreduceandtheHDFSofHa
6、doopcore..then,thispaperanalyzethedesignideasandtheadvantagesanddisadvantagesofexistingthreeschedulingalgorithms:FIFO,Fair-Scheduler,CapacityScheduler.FortheproblemthatHadoopparameterstoomuchtosetupandschedulingalgorithmtoomuchdifficulttochoose,proposeasampli
7、ngalgorithmbasedonhugeamountofdata.anddesigntheimprovedHadoopframeworkwhichjointhestrategicchoicelayertosolvethetwoproblem.finally,itrepackageandexperimenttheHadoopplatform.Comparedwiththeoldversion,Theresultsshowthatthereisobviousimprovementsindealingwithmas
8、sivedata.Keywords:Hadoop;Mapreduce;HDFS;Schedulingalgorithm;Strategic-choiceLayerThesisType:ApplicationStudy西安建筑科技大學(xué)碩士學(xué)位論文目錄1緒論............................................................
