資源描述:
《基于hadoop的云計(jì)算系統(tǒng)設(shè)計(jì)》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、分類號(hào):TP3910710-2013124077碩士學(xué)位論文基于Hadoop的云計(jì)算系統(tǒng)設(shè)計(jì)王超導(dǎo)師姓名職稱段宗濤教授智能交通與申請(qǐng)學(xué)位類別工學(xué)碩士學(xué)科專業(yè)名稱信息系統(tǒng)工程論文提交日期2016年4月28日論文答辯日期2016年6月8日學(xué)位授予單位長安大學(xué)TheDesignoftheCloudComputingSystemBasedonHadoopAThesisSubmittedfortheDegreeofMasterCandidate:WangChaoSupervisor:Prof.DuanZongtaoChang’anUniversity,Xi’an,China
2、論文獨(dú)創(chuàng)性聲明本人聲明:本人所呈交的學(xué)位論文是在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行,研究工作所取得的成果。除論文中己經(jīng)注明引用的內(nèi)容外,對(duì)論文的。研究做出重要貢獻(xiàn)的個(gè)人和集體,均已在文中明確方式標(biāo)明本論文中不包含任何未加明確注明的其他個(gè)人或集體已經(jīng)公開發(fā)表的成果。本聲明的法律責(zé)任由本人承擔(dān)。論文作者簽名:多《^艾0^年月(日論文知識(shí)產(chǎn)權(quán)權(quán)屬聲明本人在導(dǎo)師指導(dǎo)下所完成的論文及相關(guān)的職務(wù)作品,知識(shí)產(chǎn)權(quán)歸屬學(xué)校。學(xué)校享有W任何方式發(fā)表、復(fù)制、公開閱覽、借閱W及申請(qǐng)專利等權(quán)利。本人離校后發(fā)表或使用學(xué)位論文或與該論文直接相關(guān)的學(xué)術(shù)論文或成果
3、時(shí),署名單位仍然為長安大學(xué)。(涉密論文在解密后應(yīng)遵守此規(guī)定)>//論文作者簽名:年^^么(^月(日導(dǎo)師簽名:法年(月如件華2^/^摘要計(jì)算機(jī)技術(shù)與互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,使得人們的生活方式發(fā)生了翻天覆地的變化。各類電子信息產(chǎn)品在方便了人們工作與生活的同時(shí),也使得人們不得不面對(duì)日益增長的海量數(shù)據(jù)信息處理的難題。傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)無法勝任大規(guī)模數(shù)據(jù)的處理工作。因此,大規(guī)模數(shù)據(jù)的處理越來越依賴于大數(shù)據(jù)平臺(tái)。在眾多大數(shù)據(jù)處理平臺(tái)中,開源的大數(shù)據(jù)框架ApacheHadoop因其高效率、低成本的優(yōu)勢而廣受認(rèn)可。現(xiàn)在,Hadoop已經(jīng)成為了最為流行的大數(shù)
4、據(jù)處理平臺(tái)。但是Hadoop集群部署的硬件成本和Hadoop專業(yè)人員高額的培訓(xùn)費(fèi)用等問題依然極大地限制著Hadoop的推廣使用。在此背景下,本文設(shè)計(jì)實(shí)現(xiàn)了基于Hadoop的云計(jì)算系統(tǒng)。首先詳細(xì)地分析了云計(jì)算技術(shù),相比于傳統(tǒng)的計(jì)算方法,云計(jì)算更適合用來解決大規(guī)模數(shù)據(jù)的處理問題。然后,對(duì)Hadoop平臺(tái)進(jìn)行了深入研究,主要包括Hadoop的HDFS文件系統(tǒng)、MapReduce編程模型以及YARN資源管理架構(gòu)。在此基礎(chǔ)上,設(shè)計(jì)實(shí)現(xiàn)了基于Hadoop的云計(jì)算系統(tǒng)。該系統(tǒng)將Hadoop集群發(fā)布到云端供用戶使用。在使用該云計(jì)算系統(tǒng)時(shí),用戶不必自己部署集群,也不必進(jìn)行大量的開發(fā)
5、工作,只需要向Hadoop服務(wù)提供商支付一定的費(fèi)用,就可以獲取Hadoop集群的使用,既節(jié)省了成本,又降低了開發(fā)難度。最后,本文對(duì)基于Hadoop的云計(jì)算系統(tǒng)進(jìn)行功能測試,驗(yàn)證其可用性。關(guān)鍵詞:大數(shù)據(jù),云計(jì)算,Hadoop平臺(tái),HDFS,MapReduce,YARNiAbstractThedevelopmentofcomputertechnologyandInternettechnologychangesourlifestyle.Varioustypesofelectronicinformationproductsmakeourlifemoreconvenient
6、,buttheyalsomakepeopletofacetheproblemofthemassive-data-processing.Thetraditionaldataprocessingmodesarenotsuitableformassive-data-processing;massive-data-processingisincreasinglydependentonthebigdataprocessingplatform.Amongmanykindsofbigdataprocessingplatforms,Hadoopisthemostpopularon
7、ebecauseofitshighefficiencyandlow-cost.ButthehardwarecostsofHadoopclusterandthehightrainingcostsofHadoopProfessionalslimitthepromotionofHadoop.ThispaperdesignedacloudcomputingsystembasedonHadoop.Firstly,thepaperintroducedthecloudcomputing,comparedtothetraditionalcomputingmethod,theclo
8、udcom