資源描述：
《基于hadoop的云存儲(chǔ)平臺(tái)的研究與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、論文題目基于Hadoop的云存儲(chǔ)平臺(tái)的研究與實(shí)現(xiàn)學(xué)科專(zhuān)業(yè)計(jì)算機(jī)應(yīng)用技術(shù)學(xué)號(hào)201021060342作者姓名張興指導(dǎo)教師羅光春教授萬(wàn)方數(shù)據(jù)分類(lèi)號(hào)密級(jí)注1UDC學(xué)位論文基于Hadoop的云存儲(chǔ)平臺(tái)的研究與實(shí)現(xiàn)（題名和副題名）張興（作者姓名）指導(dǎo)教師羅光春教授電子科技大學(xué)成都（姓名、職稱(chēng)、單位名稱(chēng)）申請(qǐng)學(xué)位級(jí)別碩士學(xué)科專(zhuān)業(yè)計(jì)算機(jī)應(yīng)用技術(shù)提交論文日期2013.03論文答辯日期2013.04學(xué)位授予單位和日期電子科技大學(xué)2013年6月29日答辯委員會(huì)主席評(píng)閱人注1：注明《國(guó)際十進(jìn)分類(lèi)法UDC》的類(lèi)號(hào)。萬(wàn)方數(shù)據(jù)RESEARCHANDIMPLEMENTATIONOFCLOUDSTORA
2、GEPLATFORMBASEDONHADOOPAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerApplicationTechnologyAuthor:ZHANGXingAdvisor:LUOGuangchunSchool:ComputerScienceandEngineering萬(wàn)方數(shù)據(jù)獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)
3、的研究成果，也不包含為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說(shuō)明并表示謝意。作者簽名：日期：年月日論文使用授權(quán)本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和磁盤(pán)，允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定）作者簽名：導(dǎo)師簽名：日期：年月日萬(wàn)方數(shù)據(jù)摘要摘要近年來(lái)，云計(jì)算日益成為國(guó)內(nèi)外關(guān)注
4、的焦點(diǎn)。當(dāng)云計(jì)算系統(tǒng)中運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)時(shí)，云計(jì)算系統(tǒng)就衍變?yōu)橐粋€(gè)云存儲(chǔ)系統(tǒng)。云計(jì)算的飛速發(fā)展，使云存儲(chǔ)也成為當(dāng)前業(yè)界最熱門(mén)的研究領(lǐng)域。云存儲(chǔ)作為一種新的服務(wù)，它將用戶(hù)的數(shù)據(jù)存儲(chǔ)在云端服務(wù)器上，用戶(hù)只要通過(guò)互聯(lián)網(wǎng)登錄云存儲(chǔ)服務(wù)系統(tǒng)，就可以在任何地方任何時(shí)候訪問(wèn)自己的數(shù)據(jù)，并且不用擔(dān)心數(shù)據(jù)會(huì)丟失。Hadoop是Apache開(kāi)發(fā)的一種開(kāi)源的分布式計(jì)算平臺(tái)，在分布式計(jì)算和數(shù)據(jù)存儲(chǔ)方面表現(xiàn)出優(yōu)異的性能，引起了國(guó)內(nèi)外知名IT企業(yè)的關(guān)注，各大企業(yè)和科研機(jī)構(gòu)紛紛投入研究，使得Hadoop在云計(jì)算和云存儲(chǔ)中的應(yīng)用越來(lái)越廣泛。HDFS是Hadoop的分布式文件系統(tǒng)，它具有強(qiáng)大
5、的數(shù)據(jù)存儲(chǔ)能力，適合云存儲(chǔ)系統(tǒng)。但它在設(shè)計(jì)上存在一些缺陷，性能上并不完美，要想大規(guī)模推廣使用，必須先進(jìn)行改進(jìn)。本文主要研究基于HDFS的云存儲(chǔ)模型，針對(duì)HDFS在小文件存儲(chǔ)不理想和副本分布不均衡兩個(gè)問(wèn)題上對(duì)其進(jìn)行改進(jìn)，并使用改進(jìn)后的HDFS搭建云存儲(chǔ)平臺(tái)。主要工作如下：1.HDFS為確保數(shù)據(jù)存儲(chǔ)的可靠性，采用副本機(jī)制將文件的副本存儲(chǔ)在集群中。文件副本以數(shù)據(jù)塊的形式存放在不同的DataNode上，然而HDFS默認(rèn)的副本分布策略具有隨機(jī)性，不能保證副本均衡地分布在集群中。為解決這一問(wèn)題，本文提出了一種基于加權(quán)評(píng)價(jià)指標(biāo)矩陣選擇距離最優(yōu)解最近、最差解最遠(yuǎn)的節(jié)點(diǎn)的算法，對(duì)權(quán)值的確定
6、采用層次分析法進(jìn)行計(jì)算，在兼顧節(jié)點(diǎn)負(fù)載的同時(shí)，著重考察空間使用率，選擇最合適的DataNode來(lái)放置數(shù)據(jù)副本，使各DataNode的空間負(fù)載整體均衡。2.HDFS是為大文件設(shè)計(jì)的，不適合大量小文件的存儲(chǔ)。相同數(shù)據(jù)量情況下，小文件會(huì)浪費(fèi)NameNode的內(nèi)存，同時(shí)降低訪問(wèn)效率。針對(duì)這一問(wèn)題，本文對(duì)HDFS的文件存儲(chǔ)過(guò)程進(jìn)行改進(jìn)，在文件上傳到HDFS集群之前先進(jìn)行判斷，如果是小文件則需要進(jìn)行合并優(yōu)化處理，并將小文件的索引信息以鍵值對(duì)的形式保存在索引文件中。改進(jìn)方案減小了大量小文件對(duì)NameNode內(nèi)存的消耗，并提高了訪問(wèn)效率。3.進(jìn)行大量實(shí)驗(yàn)，將原HDFS與改進(jìn)方案進(jìn)行對(duì)比，
7、實(shí)驗(yàn)結(jié)果證明，本文提I萬(wàn)方數(shù)據(jù)摘要出的改進(jìn)方案具有更好的效果，能夠改善HDFS的性能。使用改進(jìn)后的Hadoop搭建存儲(chǔ)集群，開(kāi)發(fā)Web應(yīng)用程序，通過(guò)B/S模式模擬云存儲(chǔ)平臺(tái)，實(shí)現(xiàn)云存儲(chǔ)的相關(guān)功能。關(guān)鍵詞：云存儲(chǔ)，Hadoop，HDFS，副本分布，小文件II萬(wàn)方數(shù)據(jù)ABSTRACTABSTRACTInrecentyears,cloudcomputinghasincreasinglybecomethefocusofattentionathomeandabroad.Whenthemajortaskofcomputingandproc
