云存儲(chǔ)環(huán)境下分布式文件系統(tǒng)的副本策略研究

《云存儲(chǔ)環(huán)境下分布式文件系統(tǒng)的副本策略研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、電子科技大學(xué)UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA碩士學(xué)位論文MASTERTHESIS（電子科技大學(xué)圖標(biāo)）論文題目云存儲(chǔ)環(huán)境下分布式文件系統(tǒng)的副本策略研究學(xué)科專業(yè)計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)指導(dǎo)教師劉玓副教授作者姓名匡士杰學(xué)號(hào)201021060130萬(wàn)方數(shù)據(jù)分類號(hào)密級(jí)注1UDC學(xué)位論文云存儲(chǔ)環(huán)境下分布式文件系統(tǒng)的副本策略研究（題名和副題名）匡士杰（作者姓名）指導(dǎo)教師劉玓副教授電子科技大學(xué)成都（姓名、職稱、單位名稱）申請(qǐng)學(xué)位級(jí)別碩士學(xué)科專業(yè)計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)提交論文日期2013.03論文答辯日期2013.04學(xué)位授予單位和日期電

2、子科技大學(xué)2013年06月28日答辯委員會(huì)主席評(píng)閱人注1：注明《國(guó)際十進(jìn)分類法UDC》的類號(hào)。萬(wàn)方數(shù)據(jù)RESEARCHONREPLICATIONSTRATEGYOFDISTRIBUTEDFILESYSTEMINCLOUDSTORAGEAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerSystemArchitectureAuthor:ShijieKuangAdvisor:AssProf.DiLiuSchool:SchoolofComputerSci

3、ence&Engineering萬(wàn)方數(shù)據(jù)獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果，也不包含為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說(shuō)明并表示謝意。作者簽名：日期：年月日論文使用授權(quán)本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和磁盤(pán)，允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可以將學(xué)位論文的全

4、部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定）作者簽名：導(dǎo)師簽名：日期：年月日萬(wàn)方數(shù)據(jù)摘要摘要隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)上產(chǎn)生的數(shù)據(jù)量呈爆炸式的增長(zhǎng)，對(duì)這些數(shù)據(jù)的存儲(chǔ)成為了計(jì)算機(jī)領(lǐng)域研究的熱點(diǎn)。傳統(tǒng)的存儲(chǔ)方式，比如存儲(chǔ)區(qū)域網(wǎng)絡(luò)和網(wǎng)絡(luò)附加存儲(chǔ)因?yàn)槠浯鎯?chǔ)容量和性能存在瓶頸，價(jià)格昂貴，不易擴(kuò)展等原因，應(yīng)用范圍受到限制。云存儲(chǔ)采用分布式文件系統(tǒng)為核心，硬件設(shè)備價(jià)格低廉，可擴(kuò)展性好。副本技術(shù)提高了系統(tǒng)的可靠性、可用性和性能的同時(shí)，也帶來(lái)了負(fù)載均衡，網(wǎng)絡(luò)帶寬開(kāi)銷，一致性等問(wèn)題。本文分析了當(dāng)前典型的分

5、布式文件系統(tǒng)，結(jié)合云存儲(chǔ)環(huán)境下的業(yè)務(wù)特征，研究了相應(yīng)的副本策略，重點(diǎn)考慮系統(tǒng)訪問(wèn)的效率和性能，負(fù)載均衡，數(shù)據(jù)的一致性等問(wèn)題，并根據(jù)這些需求設(shè)計(jì)和實(shí)現(xiàn)了分布式文件系統(tǒng)中的副本管理模塊。本文的主要工作包括以下內(nèi)容：（1）提出了基于一致性哈希的副本放置策略。傳統(tǒng)的分布式文件系統(tǒng)副本放置位置主要通過(guò)元數(shù)據(jù)中心服務(wù)器存儲(chǔ)，當(dāng)系統(tǒng)并發(fā)訪問(wèn)量很大時(shí)，元數(shù)據(jù)服務(wù)器將成為系統(tǒng)的瓶頸。基于一致性哈希的副本放置策略很好的解決了文件檢索，存儲(chǔ)設(shè)備擴(kuò)展和失效的問(wèn)題。引入虛擬節(jié)點(diǎn)映射，極大地減少了系統(tǒng)設(shè)備的改變帶來(lái)的數(shù)據(jù)遷移。同時(shí)對(duì)設(shè)備按照存儲(chǔ)能力增加權(quán)重屬性，更好的提高了系統(tǒng)的負(fù)載均衡。（2）

6、提出了基于文件熱度的副本調(diào)整策略。該策略以文件的請(qǐng)求次數(shù)為基礎(chǔ)，結(jié)合服務(wù)器的負(fù)載，動(dòng)態(tài)地調(diào)整副本數(shù)量，提升了系統(tǒng)的性能和效率。同時(shí)，輔以副本壓縮策略，對(duì)長(zhǎng)時(shí)間沒(méi)有訪問(wèn)的文件副本壓縮，在保證數(shù)據(jù)可靠性和可用性的同時(shí)，節(jié)省了系統(tǒng)的存儲(chǔ)空間。（3）提出了基于用戶請(qǐng)求的副本一致性策略。該策略在對(duì)副本一致性維護(hù)的同時(shí)，充分考慮到了避免增加系統(tǒng)開(kāi)銷。同時(shí)，為了防止長(zhǎng)期沒(méi)有用戶訪問(wèn)的文件不一致而使得數(shù)據(jù)的可靠性降低，副本失去冗余備份的作用，采用定時(shí)更新的機(jī)制，在系統(tǒng)空閑的時(shí)候?qū)⑾到y(tǒng)中副本各版本更新到一致?tīng)顟B(tài)。關(guān)鍵詞：云存儲(chǔ)，副本策略，負(fù)載均衡，一致性I萬(wàn)方數(shù)據(jù)ABSTRACTABS

7、TRACTWiththerapiddevelopmentoftheInternet,datainthenetworkgrowsexplosively，andthedatastoragehasbecomearesearchhotspotincomputerfield.Becausestoragecapacityandperformanceislimited,theapplicationsoftraditionalstoragemethods,suchastheSANandNAS,arerestricted.Astakingthecoreofdistri