資源描述:
《基于hadoop分布式文件存儲服務(wù)平臺設(shè)計和實現(xiàn)的論文》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、浙江大學(xué)碩士學(xué)位論文摘要隨著互聯(lián)網(wǎng)應(yīng)用的飛速發(fā)展,互聯(lián)網(wǎng)上的信息和數(shù)據(jù)量呈現(xiàn)爆炸性增長,如何高效、安全地組織和存儲這些大規(guī)模的數(shù)據(jù),并最大程度地降低應(yīng)用成本,引發(fā)了國內(nèi)外越來越多的學(xué)術(shù)界和企業(yè)界的關(guān)注。當(dāng)前,無論在廣義的互聯(lián)網(wǎng)環(huán)境中,還是在中等規(guī)模企業(yè)的內(nèi)部網(wǎng)中,抑或在小規(guī)模的局域網(wǎng)中,都存在著大量高性能且廉價的閑散存儲資源。充分利用這些閑散、廉價的存儲資源,構(gòu)建可信、優(yōu)質(zhì)的大規(guī)模存儲池,是解決上述問題的有效手段。分布式文件系統(tǒng)為有效利用分散存儲資源提供了一條途徑。然而,傳統(tǒng)意義上的分布式文件存儲系統(tǒng),如Hadoop項目中的HDFS,是運行在結(jié)點性能相似、網(wǎng)絡(luò)環(huán)境高度穩(wěn)定的集群系統(tǒng)
2、中的。因此,如果直接將傳統(tǒng)的分布式文件系統(tǒng)部署在網(wǎng)絡(luò)環(huán)境動態(tài)變化、存儲結(jié)點自由進出的網(wǎng)絡(luò)中,則存在空間利用率低、網(wǎng)絡(luò)動態(tài)適應(yīng)性差、存儲結(jié)點信譽度低等問題。本文以Hadoop開源系統(tǒng)為基礎(chǔ),研究適用于廣域網(wǎng)絡(luò)的廣義分布式文件存儲服務(wù)模型,設(shè)計并實現(xiàn)了一個基于高效冗余備份策略及服務(wù)品質(zhì)感知的分布式文件存儲服務(wù)平臺——ODFS。研究工作取得如下成果:(1)將分布式文件存儲系統(tǒng)建立在動態(tài)網(wǎng)絡(luò)環(huán)境中,充分利用了網(wǎng)絡(luò)環(huán)境中的廉價計算資源,降低了存儲服務(wù)系統(tǒng)的總體擁有成本;(2)提出了一種基于恢復(fù)卷的冗余備份機制,大大減少了文件冗余信息的存儲空間,并且降低了文件的維護成本;(3)建立了基于層次化
3、名稱結(jié)點的樹狀存儲系統(tǒng)模型,解決了不同集群間不可共用一套分布式系統(tǒng)的瓶頸問題:(4)設(shè)計了一個文件存取客戶端軟件,解決了Hadoop客戶端在Windows環(huán)境中的運行問題。關(guān)鍵詞:分布式文件存儲,Hadoop,冗余備份,品質(zhì)感知,云存儲浙江大學(xué)碩士學(xué)位論文AbstractWiththerapiddevelopmentofInternetapplications,informationanddataontheInteractgrowexplosively.HowtoorganizeandstorethemassivedataovertheInternethasbecomeanurge
4、ntissue.Currently,thereexistalargenumberoffreeandcheapstorageresourcesinthenetwork,eitherontheInteractortheIntranet.Makinguseofthenumerousfreestorageresourcesinthenetworkisaneffectivemeansofprovidingalargescalestorageinfrastructure.ThedistributedfilesystemisawaytOmakeuseofdistributedstorageres
5、ources.However,traditionaldistributedfilesystems,suchasHDFSoftheHadoopproject,runonclustersystemswithstableandsimilarnodes.Deployingatraditionaldistributedfilesystemdirectlyonthedynamicnetworkwithfreenodesmayresultinissuessuchaslowstoragespaceutilization,pooradaptabilitytOthenetwork,andlowcred
6、ibilityofstoragenodes.BasedontheHadoopopen—sourceproject,thisthesisstudiesonanoveldistributedfilestoragemodelthatadaptstothedynamicnetworkenvironment,anddesignsandimplementsQDFS,adistributedfilestorageserviceplatformthatemploysadataredundancypolicybasedonrecoveryvolumesandaQoS—awaredataplaceme
7、ntstrategy.Themaincontributionofthethesisincludes:(1)Thedistributedfilestoragesystemisbasedonthedynamicnetworkenvironment.Itmakesuseoffreeandcheapstorageresourcesinthenetworkandhencereducesthetotalcostofownership.(2)Thebackupmechanismis