基于hadoop架構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù)及其應(yīng)用

《基于hadoop架構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù)及其應(yīng)用》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、基于Hadoop架構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù)及其應(yīng)用第27卷第1期2011年2月上海電力學(xué)院JournalofShanghaiUniversityofElectricPowerVo1.27.No.1Feb.2Ol1文章編號(hào):1006—4729(2011)ol一0070一O5基于Hadoop架構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù)及其應(yīng)用田秀霞,周耀君,畢忠勤,彭源(上海電力學(xué)院計(jì)算機(jī)與信息工程學(xué)院,上海200090)摘要:介紹了Hadoop架構(gòu)的主要構(gòu)成,通過一個(gè)實(shí)例詳細(xì)闡述了Hadoop架構(gòu)的MapReduce實(shí)現(xiàn)機(jī)制

2、;開發(fā)了一個(gè)基于Hadoop架構(gòu)職工工資統(tǒng)計(jì)應(yīng)用實(shí)例,并根據(jù)該實(shí)例分析了其在單節(jié)點(diǎn)模式,偽分布模式和完全分布模式應(yīng)用中的運(yùn)行效率.關(guān)鍵詞:Hadoop架構(gòu);MapReduce機(jī)制;分布式文件系統(tǒng)中圖分類號(hào):TP333;TP316.4文獻(xiàn)標(biāo)識(shí)碼:ATheTechnologyandApplicationofDistributedComputingandStorageBasedonHadoopArchitectureTIANXiu—xia,ZHOUYao-jun,BIZhong-qin,PENGYuan(Sch

3、oolofComputerandInformationEngineering,ShanghaiUniversityofElectricPower,Shanghai200090,China)Abstract:ThekeycomponentsofHadoopareintroducedfirst,thentheMapReduceimplementationmechanismisanalyzed.Whatismoreimportant,anapplicationforstatisticsofemployeesal

4、aryisdevelopedandtheefficiencycomparisonisgiveninthethreedifferentapplications,namely,thesinglenodemodel,pseudo—distributionmodelandthefulldistributionmode1.Keywords:Hadooparchitecture;MapReducemechanism;distributedfilesystem在硬盤存儲(chǔ)容量快速增加的同時(shí),訪問速度,即數(shù)據(jù)從硬盤讀取的速

5、度未能快速提高.1990年,一個(gè)普通的硬盤驅(qū)動(dòng)器可以存儲(chǔ)1370MB的數(shù)據(jù)并擁有4.4MB/s的傳輸速度,只需5min就可以讀取整個(gè)磁盤的數(shù)據(jù).2O年后的今天,海量數(shù)據(jù)的出現(xiàn)使得使用lTB存儲(chǔ)容量的磁盤驅(qū)動(dòng)器已很正常,由于數(shù)據(jù)傳輸速度在100MB/s左右,需要花2.5h以上才能讀取整個(gè)驅(qū)動(dòng)器的數(shù)據(jù)¨'2J.如果可以一次從多個(gè)磁盤上讀取數(shù)據(jù),那么可以大大提高數(shù)據(jù)訪問效率.若擁有100個(gè)磁盤,每個(gè)磁盤存儲(chǔ)1%的數(shù)據(jù),讓它們并行運(yùn)行,那么不到2min就可以讀完存儲(chǔ)的所有數(shù)據(jù).Hadoop架構(gòu)的引入使建立大型商業(yè)

6、集群,解決超大數(shù)據(jù)量處理的瓶頸難題成為可能,改善了傳統(tǒng)海量數(shù)據(jù)訪問帶來(lái)的訪問效率低下的狀況.本文基于Hadoop架構(gòu)設(shè)計(jì)了職工工資統(tǒng)計(jì)實(shí)例,并對(duì)該實(shí)例在單節(jié)點(diǎn)模式,偽分布模式和完全分布模式應(yīng)用中的運(yùn)行效率進(jìn)行了分析和比較.收稿日期:2010—07—12通訊作者簡(jiǎn)介:田秀霞(1976一),女,在讀博士,副教授,河南湯陰人.主要研究方向?yàn)樾畔踩?數(shù)據(jù)庫(kù)安全,隱私保護(hù).E—mail:tianxxsmile@yahoo.com.an.田秀霞,等:基于Hadoop架構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù)及其應(yīng)用711Hadoo

7、p的工作原理Hadoop是Apache軟件基金會(huì)所研發(fā)的分布式基礎(chǔ)架構(gòu)-3J,于2005年推出,它使用分布式文件系統(tǒng)(HadoopDistributedFileSystem,HDFS)作為低層存儲(chǔ)支持.HDFS有著高容錯(cuò)性的特點(diǎn),并將其設(shè)計(jì)部署在低廉的硬件設(shè)備上,以提供高傳輸率來(lái)訪問應(yīng)用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集的應(yīng)用程序.目前國(guó)內(nèi)外著名的公司如Yahoo,阿里巴巴,百度,Facebook等都建立了基于Hadoop的應(yīng)用.下面分別從Hadoop的MapRe—duce實(shí)現(xiàn)機(jī)制和HDFS低層存儲(chǔ)來(lái)說(shuō)明

8、如何構(gòu)建基于Had~p的分布式應(yīng)用.1.1MapReduce實(shí)現(xiàn)機(jī)制Hadoop是MapReduce的實(shí)現(xiàn)J,而MapRe—duce的工作過程一般分為兩個(gè)階段:map階段和reduce階段.每個(gè)階段都有一批關(guān)鍵值對(duì)<key,value>作為輸人,而另一批關(guān)鍵值對(duì)<key,value>作為輸出.關(guān)鍵字的類型可以由程序員選擇設(shè)定.程序員可以根據(jù)實(shí)際應(yīng)用具體設(shè)計(jì)兩個(gè)函數(shù)的實(shí)現(xiàn)體,在map階段輸入的是原始數(shù)據(jù),