hadoop+i%2fo性能優(yōu)化與研究

《hadoop+i%2fo性能優(yōu)化與研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、學(xué)校代號(hào)：10532學(xué)號(hào)：S1124W161密級(jí)：普通湖南大學(xué)工程碩士學(xué)位論文HadoopI／O性能優(yōu)化與研究堂僮由遣厶絲名；囪匾齷詮塞提童旦期；2Q!壘：Q壘：2窆迨窒筌避旦期；2Q!壘：Q§：!墨PerfomlanceoptimizationandresearchonHadoopI／O上Jer士ornlanceoptlmlzatlonandresearchonHadooDI／()byXIANGLihuiB．E．(HunanCit)，U11iVersity)2011AthesissubmittedinpartialsatisfIactionofmeRequiremen

2、tsfortIledegreeofMasterofEngineeringSo脅areEnginee血gi11t11e(haduateSchoolofHuIlallUniVers時(shí)SupervisorAssociateProfessorMIAOLiSeIliorEngineerCHENExiaIlgApril，2014湖南大學(xué)學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的研究成果。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫的成果作品。對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本

3、人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。作者簽名：向麗嘶日期：勁f睥r月伽日學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)湖南大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。本學(xué)位論文屬于l、保密口，在年解密后適用本授權(quán)書。2、不保密以(請(qǐng)?jiān)谝陨舷鄳?yīng)方框內(nèi)打“／”)作者簽名：向而揮日期：加co年r月如日刷醴名姆℃舔飆洳砰r月叫日HadoopI／o性能優(yōu)化與研究摘要隨著大數(shù)據(jù)的飛速發(fā)展

4、，作為海量數(shù)據(jù)處理的代表技術(shù)，Hadoop技術(shù)受到了越來越廣泛的關(guān)注。它的高擴(kuò)展性，高容錯(cuò)性以及低成本的優(yōu)勢(shì)使得它廣泛應(yīng)用于數(shù)據(jù)中心，社交媒體，日志分析等大數(shù)據(jù)應(yīng)用中。然而性能方面，Hadoop較并行數(shù)據(jù)庫(kù)相差甚遠(yuǎn)。Hadoop的性能體現(xiàn)在眾多方面，如10，運(yùn)行效率，能耗等。而IO是軟件高性能運(yùn)行效率的關(guān)鍵，當(dāng)然Hadoop也不例外。本文探討了國(guó)內(nèi)外Had00p性能優(yōu)化的研究現(xiàn)狀，介紹了Hadoop的基本框架，總結(jié)了現(xiàn)有的Hadoop性能問題主要體現(xiàn)在低延遲訪問，大量小文件，單節(jié)點(diǎn)故障等問題上，這些問題無不考驗(yàn)Hadoop的I／0能力。本文從參數(shù)調(diào)優(yōu)的角度分析Hadoo

5、p性能優(yōu)化方法以及影響HadoopI／O性能的參數(shù)。通過調(diào)研，發(fā)現(xiàn)影響I／0的參數(shù)主要分為3類：靜態(tài)參數(shù)，動(dòng)態(tài)參數(shù)，硬件參數(shù)。第二類參數(shù)涉及代碼的修改，本文將不做考慮。因此分別從第一類參數(shù)以及第三類參數(shù)出發(fā)，研究如何使用參數(shù)對(duì)HadoopI／O性能進(jìn)行優(yōu)化。對(duì)于第一類參數(shù)，由于并行數(shù)據(jù)庫(kù)比Hadoop性能好的一個(gè)重要原因是使用了壓縮，因此，本文展開了壓縮對(duì)Hadoop性能影響研究。通過分析Hadoop中的壓縮，得到一個(gè)壓縮使用策略，并用不同的壓縮配置和不同的數(shù)據(jù)集對(duì)壓縮使用策略進(jìn)行驗(yàn)證補(bǔ)充。然而，壓縮是一把雙刃劍，它減少了IO負(fù)載，但增加了數(shù)據(jù)處理的步驟，使用了額外的資

6、源。因此，本文使用Ganglia和作者實(shí)現(xiàn)的10costmodel去量化壓縮的代價(jià)與收益。綜合使用參數(shù)調(diào)優(yōu)，性能監(jiān)控以及成本分析進(jìn)行HadoopI／O性能優(yōu)化。對(duì)于第三類參數(shù)，磁盤是Hadoop集群最重要的存儲(chǔ)介質(zhì)，如何將磁盤節(jié)能技術(shù)應(yīng)用到Hadoop集群中，實(shí)現(xiàn)Had00p的綠色存儲(chǔ)是非常有意義的。通過分析磁盤與Hadoop集群的交互，發(fā)現(xiàn)Reduce階段shume到內(nèi)存的過程中，磁盤是空閑的?；诖疟P空閑就閑置的思想，本文從Hdparm的源代碼出發(fā)，實(shí)現(xiàn)了與磁盤狀態(tài)相關(guān)的四個(gè)接口，并使用Blktrace區(qū)分真正的磁盤IO，從而實(shí)現(xiàn)一個(gè)簡(jiǎn)單的磁盤能耗控制算法。本文提出

7、的壓縮使用策略能幫助Hadoop使用者何時(shí)何地使用壓縮以及使用哪種壓縮。簡(jiǎn)單磁盤能耗控制算法不僅能節(jié)約能耗，同時(shí)可使資源充分利用。實(shí)驗(yàn)表明：一些應(yīng)用合理使用壓縮能使Hadoop性能提高65％，將簡(jiǎn)單磁盤能耗控制算法應(yīng)用到集群中，平均一個(gè)節(jié)點(diǎn)能節(jié)省0．22WH。關(guān)鍵詞：Hadoop；性能優(yōu)化；I／O；壓縮；能耗；磁盤節(jié)能；綠色存儲(chǔ)；II工學(xué)碩士學(xué)位論文AbstractWiththerapiddeVelopmentofbigdata，asarepresentationofmassivedataprocessingtechnology，Hado