資源描述：
《基于hadoop架構(gòu)的分布式計算和存儲技術(shù)及其應(yīng)用》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、基于Hadoop架構(gòu)的分布式計算和存儲技術(shù)及其應(yīng)用第27卷第1期2011年2月上海電力學(xué)院JournalofShanghaiUniversityofElectricPowerVo1.27.No.1Feb.2Ol1文章編號:1006—4729(2011)ol一0070一O5基于Hadoop架構(gòu)的分布式計算和存儲技術(shù)及其應(yīng)用田秀霞,周耀君,畢忠勤,彭源(上海電力學(xué)院計算機與信息工程學(xué)院,上海200090)摘要:介紹了Hadoop架構(gòu)的主要構(gòu)成,通過一個實例詳細闡述了Hadoop架構(gòu)的MapReduce實現(xiàn)機制
2、;開發(fā)了一個基于Hadoop架構(gòu)職工工資統(tǒng)計應(yīng)用實例,并根據(jù)該實例分析了其在單節(jié)點模式,偽分布模式和完全分布模式應(yīng)用中的運行效率.關(guān)鍵詞:Hadoop架構(gòu);MapReduce機制;分布式文件系統(tǒng)中圖分類號:TP333;TP316.4文獻標識碼:ATheTechnologyandApplicationofDistributedComputingandStorageBasedonHadoopArchitectureTIANXiu—xia,ZHOUYao-jun,BIZhong-qin,PENGYuan(Sch
3、oolofComputerandInformationEngineering,ShanghaiUniversityofElectricPower,Shanghai200090,China)Abstract:ThekeycomponentsofHadoopareintroducedfirst,thentheMapReduceimplementationmechanismisanalyzed.Whatismoreimportant,anapplicationforstatisticsofemployeesal
4、aryisdevelopedandtheefficiencycomparisonisgiveninthethreedifferentapplications,namely,thesinglenodemodel,pseudo—distributionmodelandthefulldistributionmode1.Keywords:Hadooparchitecture;MapReducemechanism;distributedfilesystem在硬盤存儲容量快速增加的同時,訪問速度,即數(shù)據(jù)從硬盤讀取的速
5、度未能快速提高.1990年,一個普通的硬盤驅(qū)動器可以存儲1370MB的數(shù)據(jù)并擁有4.4MB/s的傳輸速度,只需5min就可以讀取整個磁盤的數(shù)據(jù).2O年后的今天,海量數(shù)據(jù)的出現(xiàn)使得使用lTB存儲容量的磁盤驅(qū)動器已很正常,由于數(shù)據(jù)傳輸速度在100MB/s左右,需要花2.5h以上才能讀取整個驅(qū)動器的數(shù)據(jù)¨'2J.如果可以一次從多個磁盤上讀取數(shù)據(jù),那么可以大大提高數(shù)據(jù)訪問效率.若擁有100個磁盤,每個磁盤存儲1%的數(shù)據(jù),讓它們并行運行,那么不到2min就可以讀完存儲的所有數(shù)據(jù).Hadoop架構(gòu)的引入使建立大型商業(yè)
6、集群,解決超大數(shù)據(jù)量處理的瓶頸難題成為可能,改善了傳統(tǒng)海量數(shù)據(jù)訪問帶來的訪問效率低下的狀況.本文基于Hadoop架構(gòu)設(shè)計了職工工資統(tǒng)計實例,并對該實例在單節(jié)點模式,偽分布模式和完全分布模式應(yīng)用中的運行效率進行了分析和比較.收稿日期:2010—07—12通訊作者簡介:田秀霞(1976一),女,在讀博士,副教授,河南湯陰人.主要研究方向為信息安全,數(shù)據(jù)庫安全,隱私保護.E—mail:tianxxsmile@yahoo.com.an.田秀霞,等:基于Hadoop架構(gòu)的分布式計算和存儲技術(shù)及其應(yīng)用711Hadoo
7、p的工作原理Hadoop是Apache軟件基金會所研發(fā)的分布式基礎(chǔ)架構(gòu)-3J,于2005年推出,它使用分布式文件系統(tǒng)(HadoopDistributedFileSystem,HDFS)作為低層存儲支持.HDFS有著高容錯性的特點,并將其設(shè)計部署在低廉的硬件設(shè)備上,以提供高傳輸率來訪問應(yīng)用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集的應(yīng)用程序.目前國內(nèi)外著名的公司如Yahoo,阿里巴巴,百度,Facebook等都建立了基于Hadoop的應(yīng)用.下面分別從Hadoop的MapRe—duce實現(xiàn)機制和HDFS低層存儲來說明
8、如何構(gòu)建基于Had~p的分布式應(yīng)用.1.1MapReduce實現(xiàn)機制Hadoop是MapReduce的實現(xiàn)J,而MapRe—duce的工作過程一般分為兩個階段:map階段和reduce階段.每個階段都有一批關(guān)鍵值對<key,value>作為輸人,而另一批關(guān)鍵值對<key,value>作為輸出.關(guān)鍵字的類型可以由程序員選擇設(shè)定.程序員可以根據(jù)實際應(yīng)用具體設(shè)計兩個函數(shù)的實現(xiàn)體,在map階段輸入的是原始數(shù)據(jù),
