基于hadoop的云計(jì)算系統(tǒng)設(shè)計(jì)

《基于hadoop的云計(jì)算系統(tǒng)設(shè)計(jì)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、分類號(hào):TP3910710-2013124077碩士學(xué)位論文基于Hadoop的云計(jì)算系統(tǒng)設(shè)計(jì)王超導(dǎo)師姓名職稱段宗濤教授智能交通與申請(qǐng)學(xué)位類別工學(xué)碩士學(xué)科專業(yè)名稱信息系統(tǒng)工程論文提交日期2016年4月28日論文答辯日期2016年6月8日學(xué)位授予單位長安大學(xué)TheDesignoftheCloudComputingSystemBasedonHadoopAThesisSubmittedfortheDegreeofMasterCandidate：WangChaoSupervisor：Prof.DuanZongtaoChang’anUniversity,Xi’an,China

2、論文獨(dú)創(chuàng)性聲明本人聲明：本人所呈交的學(xué)位論文是在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行，研究工作所取得的成果。除論文中己經(jīng)注明引用的內(nèi)容外，對(duì)論文的。研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中明確方式標(biāo)明本論文中不包含任何未加明確注明的其他個(gè)人或集體已經(jīng)公開發(fā)表的成果。本聲明的法律責(zé)任由本人承擔(dān)。論文作者簽名：多《＾艾０＾年月（日論文知識(shí)產(chǎn)權(quán)權(quán)屬聲明本人在導(dǎo)師指導(dǎo)下所完成的論文及相關(guān)的職務(wù)作品，知識(shí)產(chǎn)權(quán)歸屬學(xué)校。學(xué)校享有Ｗ任何方式發(fā)表、復(fù)制、公開閱覽、借閱Ｗ及申請(qǐng)專利等權(quán)利。本人離校后發(fā)表或使用學(xué)位論文或與該論文直接相關(guān)的學(xué)術(shù)論文或成果

3、時(shí)，署名單位仍然為長安大學(xué)。（涉密論文在解密后應(yīng)遵守此規(guī)定）＞／／論文作者簽名：年＾＾么（＾月（日導(dǎo)師簽名：法年（月如件華２＾／＾摘要計(jì)算機(jī)技術(shù)與互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，使得人們的生活方式發(fā)生了翻天覆地的變化。各類電子信息產(chǎn)品在方便了人們工作與生活的同時(shí)，也使得人們不得不面對(duì)日益增長的海量數(shù)據(jù)信息處理的難題。傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)無法勝任大規(guī)模數(shù)據(jù)的處理工作。因此，大規(guī)模數(shù)據(jù)的處理越來越依賴于大數(shù)據(jù)平臺(tái)。在眾多大數(shù)據(jù)處理平臺(tái)中，開源的大數(shù)據(jù)框架ApacheHadoop因其高效率、低成本的優(yōu)勢而廣受認(rèn)可。現(xiàn)在，Hadoop已經(jīng)成為了最為流行的大數(shù)

4、據(jù)處理平臺(tái)。但是Hadoop集群部署的硬件成本和Hadoop專業(yè)人員高額的培訓(xùn)費(fèi)用等問題依然極大地限制著Hadoop的推廣使用。在此背景下，本文設(shè)計(jì)實(shí)現(xiàn)了基于Hadoop的云計(jì)算系統(tǒng)。首先詳細(xì)地分析了云計(jì)算技術(shù)，相比于傳統(tǒng)的計(jì)算方法，云計(jì)算更適合用來解決大規(guī)模數(shù)據(jù)的處理問題。然后，對(duì)Hadoop平臺(tái)進(jìn)行了深入研究，主要包括Hadoop的HDFS文件系統(tǒng)、MapReduce編程模型以及YARN資源管理架構(gòu)。在此基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)了基于Hadoop的云計(jì)算系統(tǒng)。該系統(tǒng)將Hadoop集群發(fā)布到云端供用戶使用。在使用該云計(jì)算系統(tǒng)時(shí)，用戶不必自己部署集群，也不必進(jìn)行大量的開發(fā)

5、工作，只需要向Hadoop服務(wù)提供商支付一定的費(fèi)用，就可以獲取Hadoop集群的使用，既節(jié)省了成本，又降低了開發(fā)難度。最后，本文對(duì)基于Hadoop的云計(jì)算系統(tǒng)進(jìn)行功能測試，驗(yàn)證其可用性。關(guān)鍵詞：大數(shù)據(jù)，云計(jì)算，Hadoop平臺(tái)，HDFS，MapReduce，YARNiAbstractThedevelopmentofcomputertechnologyandInternettechnologychangesourlifestyle.Varioustypesofelectronicinformationproductsmakeourlifemoreconvenient

6、,buttheyalsomakepeopletofacetheproblemofthemassive-data-processing.Thetraditionaldataprocessingmodesarenotsuitableformassive-data-processing;massive-data-processingisincreasinglydependentonthebigdataprocessingplatform.Amongmanykindsofbigdataprocessingplatforms,Hadoopisthemostpopularon

7、ebecauseofitshighefficiencyandlow-cost.ButthehardwarecostsofHadoopclusterandthehightrainingcostsofHadoopProfessionalslimitthepromotionofHadoop.ThispaperdesignedacloudcomputingsystembasedonHadoop.Firstly,thepaperintroducedthecloudcomputing,comparedtothetraditionalcomputingmethod,theclo

8、udcom