云存儲環(huán)境下分布式文件系統(tǒng)的副本策略研究

《云存儲環(huán)境下分布式文件系統(tǒng)的副本策略研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、電子科技大學(xué)UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA碩士學(xué)位論文MASTERTHESIS（電子科技大學(xué)圖標(biāo)）論文題目云存儲環(huán)境下分布式文件系統(tǒng)的副本策略研究學(xué)科專業(yè)計算機系統(tǒng)結(jié)構(gòu)指導(dǎo)教師劉玓副教授作者姓名匡士杰學(xué)號201021060130萬方數(shù)據(jù)分類號密級注1UDC學(xué)位論文云存儲環(huán)境下分布式文件系統(tǒng)的副本策略研究（題名和副題名）匡士杰（作者姓名）指導(dǎo)教師劉玓副教授電子科技大學(xué)成都（姓名、職稱、單位名稱）申請學(xué)位級別碩士學(xué)科專業(yè)計算機系統(tǒng)結(jié)構(gòu)提交論文日期2013.03論文答辯日期2013.04學(xué)位授予單位和日期電

2、子科技大學(xué)2013年06月28日答辯委員會主席評閱人注1：注明《國際十進(jìn)分類法UDC》的類號。萬方數(shù)據(jù)RESEARCHONREPLICATIONSTRATEGYOFDISTRIBUTEDFILESYSTEMINCLOUDSTORAGEAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerSystemArchitectureAuthor:ShijieKuangAdvisor:AssProf.DiLiuSchool:SchoolofComputerSci

3、ence&Engineering萬方數(shù)據(jù)獨創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得電子科技大學(xué)或其它教育機構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。作者簽名：日期：年月日論文使用授權(quán)本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可以將學(xué)位論文的全

4、部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定）作者簽名：導(dǎo)師簽名：日期：年月日萬方數(shù)據(jù)摘要摘要隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)上產(chǎn)生的數(shù)據(jù)量呈爆炸式的增長，對這些數(shù)據(jù)的存儲成為了計算機領(lǐng)域研究的熱點。傳統(tǒng)的存儲方式，比如存儲區(qū)域網(wǎng)絡(luò)和網(wǎng)絡(luò)附加存儲因為其存儲容量和性能存在瓶頸，價格昂貴，不易擴展等原因，應(yīng)用范圍受到限制。云存儲采用分布式文件系統(tǒng)為核心，硬件設(shè)備價格低廉，可擴展性好。副本技術(shù)提高了系統(tǒng)的可靠性、可用性和性能的同時，也帶來了負(fù)載均衡，網(wǎng)絡(luò)帶寬開銷，一致性等問題。本文分析了當(dāng)前典型的分

5、布式文件系統(tǒng)，結(jié)合云存儲環(huán)境下的業(yè)務(wù)特征，研究了相應(yīng)的副本策略，重點考慮系統(tǒng)訪問的效率和性能，負(fù)載均衡，數(shù)據(jù)的一致性等問題，并根據(jù)這些需求設(shè)計和實現(xiàn)了分布式文件系統(tǒng)中的副本管理模塊。本文的主要工作包括以下內(nèi)容：（1）提出了基于一致性哈希的副本放置策略。傳統(tǒng)的分布式文件系統(tǒng)副本放置位置主要通過元數(shù)據(jù)中心服務(wù)器存儲，當(dāng)系統(tǒng)并發(fā)訪問量很大時，元數(shù)據(jù)服務(wù)器將成為系統(tǒng)的瓶頸?；谝恢滦怨５母北痉胖貌呗院芎玫慕鉀Q了文件檢索，存儲設(shè)備擴展和失效的問題。引入虛擬節(jié)點映射，極大地減少了系統(tǒng)設(shè)備的改變帶來的數(shù)據(jù)遷移。同時對設(shè)備按照存儲能力增加權(quán)重屬性，更好的提高了系統(tǒng)的負(fù)載均衡。（2）

6、提出了基于文件熱度的副本調(diào)整策略。該策略以文件的請求次數(shù)為基礎(chǔ)，結(jié)合服務(wù)器的負(fù)載，動態(tài)地調(diào)整副本數(shù)量，提升了系統(tǒng)的性能和效率。同時，輔以副本壓縮策略，對長時間沒有訪問的文件副本壓縮，在保證數(shù)據(jù)可靠性和可用性的同時，節(jié)省了系統(tǒng)的存儲空間。（3）提出了基于用戶請求的副本一致性策略。該策略在對副本一致性維護(hù)的同時，充分考慮到了避免增加系統(tǒng)開銷。同時，為了防止長期沒有用戶訪問的文件不一致而使得數(shù)據(jù)的可靠性降低，副本失去冗余備份的作用，采用定時更新的機制，在系統(tǒng)空閑的時候?qū)⑾到y(tǒng)中副本各版本更新到一致狀態(tài)。關(guān)鍵詞：云存儲，副本策略，負(fù)載均衡，一致性I萬方數(shù)據(jù)ABSTRACTABS

7、TRACTWiththerapiddevelopmentoftheInternet,datainthenetworkgrowsexplosively，andthedatastoragehasbecomearesearchhotspotincomputerfield.Becausestoragecapacityandperformanceislimited,theapplicationsoftraditionalstoragemethods,suchastheSANandNAS,arerestricted.Astakingthecoreofdistri