資源描述：
《基于hadoop分布式文件存儲服務平臺設計和實現(xiàn)的論文》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在學術論文-天天文庫。
1、浙江大學碩士學位論文摘要隨著互聯(lián)網(wǎng)應用的飛速發(fā)展，互聯(lián)網(wǎng)上的信息和數(shù)據(jù)量呈現(xiàn)爆炸性增長，如何高效、安全地組織和存儲這些大規(guī)模的數(shù)據(jù)，并最大程度地降低應用成本，引發(fā)了國內(nèi)外越來越多的學術界和企業(yè)界的關注。當前，無論在廣義的互聯(lián)網(wǎng)環(huán)境中，還是在中等規(guī)模企業(yè)的內(nèi)部網(wǎng)中，抑或在小規(guī)模的局域網(wǎng)中，都存在著大量高性能且廉價的閑散存儲資源。充分利用這些閑散、廉價的存儲資源，構建可信、優(yōu)質的大規(guī)模存儲池，是解決上述問題的有效手段。分布式文件系統(tǒng)為有效利用分散存儲資源提供了一條途徑。然而，傳統(tǒng)意義上的分布式文件存儲系統(tǒng)，如Hadoop項目中的HDFS，是運行在結點性能相似、網(wǎng)絡環(huán)境高度穩(wěn)定的集群系統(tǒng)
2、中的。因此，如果直接將傳統(tǒng)的分布式文件系統(tǒng)部署在網(wǎng)絡環(huán)境動態(tài)變化、存儲結點自由進出的網(wǎng)絡中，則存在空間利用率低、網(wǎng)絡動態(tài)適應性差、存儲結點信譽度低等問題。本文以Hadoop開源系統(tǒng)為基礎，研究適用于廣域網(wǎng)絡的廣義分布式文件存儲服務模型，設計并實現(xiàn)了一個基于高效冗余備份策略及服務品質感知的分布式文件存儲服務平臺——ODFS。研究工作取得如下成果：(1)將分布式文件存儲系統(tǒng)建立在動態(tài)網(wǎng)絡環(huán)境中，充分利用了網(wǎng)絡環(huán)境中的廉價計算資源，降低了存儲服務系統(tǒng)的總體擁有成本；(2)提出了一種基于恢復卷的冗余備份機制，大大減少了文件冗余信息的存儲空間，并且降低了文件的維護成本；(3)建立了基于層次化
3、名稱結點的樹狀存儲系統(tǒng)模型，解決了不同集群間不可共用一套分布式系統(tǒng)的瓶頸問題：(4)設計了一個文件存取客戶端軟件，解決了Hadoop客戶端在Windows環(huán)境中的運行問題。關鍵詞：分布式文件存儲，Hadoop，冗余備份，品質感知，云存儲浙江大學碩士學位論文AbstractWiththerapiddevelopmentofInternetapplications，informationanddataontheInteractgrowexplosively．HowtoorganizeandstorethemassivedataovertheInternethasbecomeanurge
4、ntissue．Currently,thereexistalargenumberoffreeandcheapstorageresourcesinthenetwork，eitherontheInteractortheIntranet．Makinguseofthenumerousfreestorageresourcesinthenetworkisaneffectivemeansofprovidingalargescalestorageinfrastructure．ThedistributedfilesystemisawaytOmakeuseofdistributedstorageres
5、ources．However,traditionaldistributedfilesystems，suchasHDFSoftheHadoopproject，runonclustersystemswithstableandsimilarnodes．Deployingatraditionaldistributedfilesystemdirectlyonthedynamicnetworkwithfreenodesmayresultinissuessuchaslowstoragespaceutilization，pooradaptabilitytOthenetwork，andlowcred
6、ibilityofstoragenodes．BasedontheHadoopopen—sourceproject，thisthesisstudiesonanoveldistributedfilestoragemodelthatadaptstothedynamicnetworkenvironment，anddesignsandimplementsQDFS，adistributedfilestorageserviceplatformthatemploysadataredundancypolicybasedonrecoveryvolumesandaQoS—awaredataplaceme
7、ntstrategy．Themaincontributionofthethesisincludes：(1)Thedistributedfilestoragesystemisbasedonthedynamicnetworkenvironment．Itmakesuseoffreeandcheapstorageresourcesinthenetworkandhencereducesthetotalcostofownership．(2)Thebackupmechanismis
