資源描述：
《基于hadoop分布式文件存儲服務(wù)平臺設(shè)計和實現(xiàn)的論文》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、浙江大學(xué)碩士學(xué)位論文摘要隨著互聯(lián)網(wǎng)應(yīng)用的飛速發(fā)展，互聯(lián)網(wǎng)上的信息和數(shù)據(jù)量呈現(xiàn)爆炸性增長，如何高效、安全地組織和存儲這些大規(guī)模的數(shù)據(jù)，并最大程度地降低應(yīng)用成本，引發(fā)了國內(nèi)外越來越多的學(xué)術(shù)界和企業(yè)界的關(guān)注。當(dāng)前，無論在廣義的互聯(lián)網(wǎng)環(huán)境中，還是在中等規(guī)模企業(yè)的內(nèi)部網(wǎng)中，抑或在小規(guī)模的局域網(wǎng)中，都存在著大量高性能且廉價的閑散存儲資源。充分利用這些閑散、廉價的存儲資源，構(gòu)建可信、優(yōu)質(zhì)的大規(guī)模存儲池，是解決上述問題的有效手段。分布式文件系統(tǒng)為有效利用分散存儲資源提供了一條途徑。然而，傳統(tǒng)意義上的分布式文件存儲系統(tǒng)，如Hadoop項目中的HDFS，是運行在結(jié)點性能相似、網(wǎng)絡(luò)環(huán)境高度穩(wěn)定的集群系統(tǒng)
2、中的。因此，如果直接將傳統(tǒng)的分布式文件系統(tǒng)部署在網(wǎng)絡(luò)環(huán)境動態(tài)變化、存儲結(jié)點自由進出的網(wǎng)絡(luò)中，則存在空間利用率低、網(wǎng)絡(luò)動態(tài)適應(yīng)性差、存儲結(jié)點信譽度低等問題。本文以Hadoop開源系統(tǒng)為基礎(chǔ)，研究適用于廣域網(wǎng)絡(luò)的廣義分布式文件存儲服務(wù)模型，設(shè)計并實現(xiàn)了一個基于高效冗余備份策略及服務(wù)品質(zhì)感知的分布式文件存儲服務(wù)平臺——ODFS。研究工作取得如下成果：(1)將分布式文件存儲系統(tǒng)建立在動態(tài)網(wǎng)絡(luò)環(huán)境中，充分利用了網(wǎng)絡(luò)環(huán)境中的廉價計算資源，降低了存儲服務(wù)系統(tǒng)的總體擁有成本；(2)提出了一種基于恢復(fù)卷的冗余備份機制，大大減少了文件冗余信息的存儲空間，并且降低了文件的維護成本；(3)建立了基于層次化
3、名稱結(jié)點的樹狀存儲系統(tǒng)模型，解決了不同集群間不可共用一套分布式系統(tǒng)的瓶頸問題：(4)設(shè)計了一個文件存取客戶端軟件，解決了Hadoop客戶端在Windows環(huán)境中的運行問題。關(guān)鍵詞：分布式文件存儲，Hadoop，冗余備份，品質(zhì)感知，云存儲浙江大學(xué)碩士學(xué)位論文AbstractWiththerapiddevelopmentofInternetapplications，informationanddataontheInteractgrowexplosively．HowtoorganizeandstorethemassivedataovertheInternethasbecomeanurge
4、ntissue．Currently,thereexistalargenumberoffreeandcheapstorageresourcesinthenetwork，eitherontheInteractortheIntranet．Makinguseofthenumerousfreestorageresourcesinthenetworkisaneffectivemeansofprovidingalargescalestorageinfrastructure．ThedistributedfilesystemisawaytOmakeuseofdistributedstorageres
5、ources．However,traditionaldistributedfilesystems，suchasHDFSoftheHadoopproject，runonclustersystemswithstableandsimilarnodes．Deployingatraditionaldistributedfilesystemdirectlyonthedynamicnetworkwithfreenodesmayresultinissuessuchaslowstoragespaceutilization，pooradaptabilitytOthenetwork，andlowcred
6、ibilityofstoragenodes．BasedontheHadoopopen—sourceproject，thisthesisstudiesonanoveldistributedfilestoragemodelthatadaptstothedynamicnetworkenvironment，anddesignsandimplementsQDFS，adistributedfilestorageserviceplatformthatemploysadataredundancypolicybasedonrecoveryvolumesandaQoS—awaredataplaceme
7、ntstrategy．Themaincontributionofthethesisincludes：(1)Thedistributedfilestoragesystemisbasedonthedynamicnetworkenvironment．Itmakesuseoffreeandcheapstorageresourcesinthenetworkandhencereducesthetotalcostofownership．(2)Thebackupmechanismis
