基于hdfs的小文件存儲(chǔ)關(guān)鍵技術(shù)研究

《基于hdfs的小文件存儲(chǔ)關(guān)鍵技術(shù)研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、■■＇－■■－Ｖ－Ｖ－一：，．：：Ｖ；Ｖ；；：：，．；；＂＂＇＾■：＾Ａｖｈ？，；：＇．＇．相、片Ｓ：；拉方爲(wèi)’’一．．．ｆＶ＾’々．式－巧古斯》：－．＇滿次；戶．Ｖ短苗裝＆、＇＇Ｉ瑕．Ｖ姑詩試喊論義．＇’’．．－．．Ｖ片．Ｖ一Ｘ＇．？：一－、化－．？＊－－？？——？？，Ｗ－－．．．？．；．片，．．基于ＨＤＦＳ的小文件存儲(chǔ)關(guān)鍵技術(shù)研究、－＇；讀．．‘辦．爾蘆心．逆齡．．；

2、：．中■＂■■■：：＾Ｖ．古＾，；？ｙ＇■古皆’－＇＇、＇－＇－－．馬尤＇．心Ｖ背＇＇：＾；＇ｊ；－；ｉ；，滅苗：三占ｙ．，：八＇－＇三：．苗心Ｊ；一避判．藝妒Ｖ塞賀灣賴霧議涅：：ｉｌｌ：．（老披留學(xué)生）ｉ＃；．．ｌｉｌｉＳｉ歡樣毒讚一？這ｉ奪議！議義‘－－＾＾的：鴻；；，感ｖ．＇－＇＇＇，‘所：Ｖ．．．；．嘴咸Ｖ；．品礦．ｖ也；＇ｘ＇‘－■—．＇＇一■．．巧方山＇－：．．始＇Ｖ八、ｖ；南＇、Ｉ‘＇：：＇ＨＶ…

3、．Ｖ一／詩、．．，＞．．一路興記ｖ．Ｓ＇Ｉ．，＇＇ｒ＇；ｔ再．＇代礎(chǔ)—＇？個(gè)堿＾：林氣譜＇■‘一＊＂＾＇＇ｒ－■＇■．＇二＇‘＇＇■？ＶＶ：■－－：＇Ｖ傳－．．‘、一－ＶＶ‘＇‘＇山賈殘席乂＃：．．，■一．．＇？Ｘ、．－ｒ－ｆ－？－．、，Ｉ．＂，一紀(jì)＇＾二〇六年六月綻．廣５，論．；節(jié)九Ｖ被＇．．‘■．’—－＇Ｖｒ＇，話嫁ｆ的；六造試乎、＇＇＇＇＇；－＂—：；．．與：心；今；讀

4、該財(cái)節(jié)謂Ｖ．繁：銷皆Ａ＇；作．式．ｓ一姑雜坤報(bào)游．攀；二分類號(hào)了Ｐ乏弓３密級(jí)公弄ＵＤＣ編號(hào)碩±學(xué)位論文基于ＨＤＦＳ的小文件存儲(chǔ)關(guān)鍵技術(shù)研究塞賀學(xué)科專業(yè)計(jì)算祝應(yīng)用巧術(shù)指導(dǎo)教師霍林論文答辯日期２０１６年５月１８日學(xué)位授予日期２０１６年６月３０日答辯委員會(huì)主席陳友初教授及窩級(jí)工程師廣西大學(xué)學(xué)位論文原創(chuàng)性和使用授枚聲明本人聲明所呈交的論文，是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的研究成果。除已特別加Ｗ標(biāo)注和致謝的地方外，論文不包含任何其他個(gè)人或集體已

5、經(jīng)發(fā)表或撰寫的研究成果，也不包含本人或他人為獲得廣西大學(xué)或其它單位的學(xué)位而使用過的材料一同工作的同事對(duì)本論文的研。與我究工作所做的貢獻(xiàn)均已在論文中作了明確說明。本人在導(dǎo)師指導(dǎo)下所完成的學(xué)位論文及相關(guān)的職務(wù)作品，知識(shí)產(chǎn)權(quán)歸屬廣西大學(xué)。本人授權(quán)廣西大學(xué)擁有學(xué)位論文的部分使用權(quán)，目Ｐ：學(xué)校有權(quán)保存并向國家有關(guān)部口或機(jī)構(gòu)送交學(xué)位論文的復(fù)印件和電子版，允許論文被查閱和借閱，可將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索和傳播、匯編學(xué)位論文。，可Ｗ采用影印、縮印或其它復(fù)制手段保存本學(xué)位

6、論文屬于：□保密，在年解密后適用授權(quán)。的保密。＂＂（請(qǐng)?jiān)谏舷鄳?yīng)方框內(nèi)打Ｖ）論文作者簽名：豪％日期：么０仏從Ｕ？？，么Ｏ指導(dǎo)教師簽名日期ｌｂ．：ＤＵｆｃ作者聯(lián)系電話；：電子郵箱廣巧太＃巧古＃位論義＊于ＨＤＦＳ巧小義件々Ｗｆ美Ｗ技術(shù)巧義基于ＨＤＦＳ的小文件存儲(chǔ)關(guān)鍵技術(shù)研究摘要云存儲(chǔ)系統(tǒng)為存儲(chǔ)大規(guī)模數(shù)據(jù)應(yīng)運(yùn)而生，其底層采用分布式文件系統(tǒng)＊作為存儲(chǔ)平臺(tái)。冊(cè)ＦＳ（ＨａｄｏｏｐＤｉｓｔｒ化ｕｔｅｄＦｉｌｅＳｙｓＴｔｅｍ）是開源的云計(jì)算）平臺(tái)Ｈａｄｏｏｐ提出

7、的分布式文件系統(tǒng)，其設(shè)計(jì)簡(jiǎn)單，應(yīng)用廣泛。但是ＨＤＦＳ的設(shè)計(jì)初衷是為了處理大文件的，而目前隨著互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生了越來越多的小文件需要處理，這給ＨＤＦＳ帶來了挑戰(zhàn)。ＨＤＦ一Ｓ采用單的元數(shù)據(jù)節(jié)點(diǎn)ＮａｍｅＮｏｄｅ來管理整個(gè)系統(tǒng)的元數(shù)據(jù)信息，并且為了提高訪問效率，將元數(shù)據(jù)存儲(chǔ)在內(nèi)存中，但是當(dāng)系統(tǒng)中存儲(chǔ)著大量小文件時(shí)，會(huì)產(chǎn)生非常多的元數(shù)據(jù)，占用較大的ＮａｍｅＮｏｄｅ內(nèi)存，使其工作性能受到影響。此外，大量的小文件訪問，需要頻繁向ＮａｍｅＮｏｄｅ發(fā)送請(qǐng)一求，造成ＮａｍｅＮｏｄｅ節(jié)點(diǎn)超負(fù)荷工作，成

8、為系統(tǒng)整體性能的個(gè)瓶頸。為了解決這個(gè)問題，使冊(cè)ＦＳ能適應(yīng)小文件的存儲(chǔ)，本文進(jìn)行了相關(guān)研究，主要包括：對(duì)ＨＤＦＳ的系統(tǒng)架構(gòu)設(shè)計(jì)和工作原理進(jìn)行了深入了解。本文提出一種基于合并策略的ＨＤＦＳ小文件存儲(chǔ)解決方案，并給出改進(jìn)的系統(tǒng)架構(gòu)。新的方案將小文件合并成為大文件進(jìn)行存儲(chǔ)，并創(chuàng)建相應(yīng)的索引，在文件讀取時(shí)，設(shè)計(jì)恰當(dāng)?shù)臄?shù)據(jù)預(yù)取和緩存策略，提高訪問效率。此外一，為了進(jìn)步提髙小文件合并之