資源描述：
《基于hadoop架構(gòu)的分布式計算和存儲技術(shù)及其應(yīng)用20575new》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、萬方數(shù)據(jù)第27卷第l期2011年2月上海電力學(xué)院學(xué)報Jo啪alofSh柚ghajUnjV懿時ofElo響cPow盯V01．27．No．1Feb．20ll文章編號：1006—4729(2011)01—00r70—05基于Hadoop架構(gòu)的分布式計算和存儲技術(shù)及其應(yīng)用田秀霞，周耀君，畢忠勤，彭源(上海電力學(xué)院計算機(jī)與信息工程學(xué)院，上海200090)摘要：介紹了Had∞p架構(gòu)的主要構(gòu)成，通過一個實(shí)例詳細(xì)闡述了Had∞p架構(gòu)的MapReduce實(shí)現(xiàn)機(jī)制；開發(fā)了一個基于H8do叩架構(gòu)職工工資統(tǒng)計應(yīng)用實(shí)例，并根據(jù)該實(shí)例分析了其在單節(jié)點(diǎn)模式、偽分布模式和完全分布模式應(yīng)用
2、中的運(yùn)行效率．關(guān)鍵詞：Hado叩架構(gòu)；M印Reduce機(jī)制；分布式文件系統(tǒng)中圖分類號：1瑪33；偽16．4文獻(xiàn)標(biāo)識碼：ATheTechnologyandApplicationofDistributedComputingandStorageB嬲edonHadoopArcllitectureT隊NXiu-xia，ZHOUYao-jun，BIZhong-qin，PENGYu肌(&b甜礦cD玎妒姚ra以刪鈿，lat幻忭西硒冊扒昭，肌8咖f№如礦姍凡聊，舶口增hi200090，儺i脅)AbS岫喊：-11lekeycomp∞entsofHadoopamintroldu
3、cedfi賦，tlIentlleM印ReduceiⅡ甲l鋤e吡m冊mech鋤i鋤isallalyzed．WhatisInoreimport粕t，觚印plic撕∞forstatisticsofemployeesala町isdeve岫d鋤dtlIeefficiencycomp撕s鋤is舀venint}letlIreedi能艙nt印plicalions，咖ely，thesinglenodemodel，p∞udo-dis斑butionmodel蚰dtlle缸lldistributionmodeLKeywOrds：Hadooparchitectur{e；MapRed
4、ucemechaIIi鋤；distributedfilesystem在硬盤存儲容量快速增加的同時，訪問速度，即數(shù)據(jù)從硬盤讀取的速度未能快速提高．1990年，一個普通的硬盤驅(qū)動器可以存儲1370MB的數(shù)據(jù)并擁有4．4MB／s的傳輸速度，只需5min就可以讀取整個磁盤的數(shù)據(jù)．20年后的今天，海量數(shù)據(jù)的出現(xiàn)使得使用lTB存儲容量的磁盤驅(qū)動器已很正常，由于數(shù)據(jù)傳輸速度在100MB／s左右，需要花2．5h以上才能讀取整個驅(qū)動器的數(shù)據(jù)¨’2J．如果可以一次從多個磁盤上讀取數(shù)據(jù)，那么可以大大提高數(shù)據(jù)訪問效率．若擁有100個磁盤，每個磁盤存儲l％的數(shù)據(jù)，讓它們并行運(yùn)行．那
5、么不到2IIlin就可以讀完存儲的所有數(shù)據(jù)．Hadoop架構(gòu)的引入使建立大型商業(yè)集群、解決超大數(shù)據(jù)量處理的瓶頸難題成為可能，改善了傳統(tǒng)海量數(shù)據(jù)訪問帶來的訪問效率低下的狀況．本文基于Hadoop架構(gòu)設(shè)計了職工工資統(tǒng)計實(shí)例，并對該實(shí)例在單節(jié)點(diǎn)模式、偽分布模式和完全分布模式應(yīng)用中的運(yùn)行效率進(jìn)行了分析和比較．收稿日期：20lO一0r7一12通訊作者簡介：田秀霞(19r76一)，女，在讀博士，副教授，河南湯陰人．主要研究方向?yàn)樾畔踩?，?shù)據(jù)庫安全，隱私保護(hù)．E·礎(chǔ)lil：ti肌船噶mik@yall∞．c鋤．cn．萬方數(shù)據(jù)田秀霞，等：基于Hadoop架構(gòu)的分布式計算和
6、存儲技術(shù)及其應(yīng)用7l1Hadoop的工作原理Hadoop是Apache軟件基金會所研發(fā)的分布式基礎(chǔ)架構(gòu)∞'4】．于2005年推出，它使用分布式文件系統(tǒng)(HadoopDist曲utedFilesystem，HDFs)作為低層存儲支持．HDFS有著高容錯性的特點(diǎn)，并將其設(shè)計部署在低廉的硬件設(shè)備上，以提供高傳輸率來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序．目前國內(nèi)外著名的公司如Yalloo，阿里巴巴，百度，F(xiàn)舵ebook等都建立了基于Hadoop的應(yīng)用．下面分別從Had00p的M印Re—duce實(shí)現(xiàn)機(jī)制和HDFS低層存儲來說明如何構(gòu)建基于Hado叩的
7、分布式應(yīng)用．1．1Map&血l∞實(shí)現(xiàn)機(jī)制Hadoop是M印Reduce的實(shí)現(xiàn)【5．6J，而MapRe-duce的工作過程一般分為兩個階段：map階段和捌uce階段．每個階段都有一批關(guān)鍵值對作為輸入，而另一批關(guān)鍵值對作為輸出．關(guān)鍵字的類型可以由程序員選擇設(shè)定．程序員可以根據(jù)實(shí)際應(yīng)用具體設(shè)計兩個函數(shù)的實(shí)現(xiàn)體，在znap階段輸入的是原始數(shù)據(jù)，可以選擇文本文件作為輸入．I．1．1氣象數(shù)據(jù)集分布在全球各地的氣象傳感器每隔lh便收集當(dāng)?shù)氐臍庀髷?shù)據(jù)，從而累積了大量的日志數(shù)據(jù)，這些數(shù)據(jù)是可以用M印Reduce來分析的最佳數(shù)據(jù)．1
8、．1．2數(shù)據(jù)存放格式假設(shè)數(shù)據(jù)是以面向行的AsCII格式存儲，每一行
