資源描述：
《基于hadoop架構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù)及其應(yīng)用new》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第27卷第1期上海電力學(xué)院學(xué)報(bào)Vo.l27,No.12011年2月JournalofShanghaiUniversityofElectricPowerFeb.2011文章編號(hào):1006-4729(2011)01-0070-05基于Hadoop架構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù)及其應(yīng)用田秀霞,周耀君,畢忠勤,彭源(上海電力學(xué)院計(jì)算機(jī)與信息工程學(xué)院,上海200090)摘要:介紹了Hadoop架構(gòu)的主要構(gòu)成,通過一個(gè)實(shí)例詳細(xì)闡述了Hadoop架構(gòu)的MapReduce實(shí)現(xiàn)機(jī)制;開發(fā)了一個(gè)基于Hadoop架構(gòu)職工工資統(tǒng)
2、計(jì)應(yīng)用實(shí)例,并根據(jù)該實(shí)例分析了其在單節(jié)點(diǎn)模式、偽分布模式和完全分布模式應(yīng)用中的運(yùn)行效率.關(guān)鍵詞:Hadoop架構(gòu);MapReduce機(jī)制;分布式文件系統(tǒng)中圖分類號(hào):TP333;TP316.4文獻(xiàn)標(biāo)識(shí)碼:ATheTechnologyandApplicationofDistributedComputingandStorageBasedonHadoopArchitectureTIANXiuxia,ZHOUYaojun,BIZhongqin,PENGYuan(SchoolofComputerandInformationEng
3、ineering,ShanghaiUniversityofElectricPower,Shanghai200090,China)Abstract:ThekeycomponentsofHadoopareintroducedfirs,tthentheMapReduceimplementationmechanismisanalyzed.Whatismoreimportan,tanapplicationforstatisticsofemployeesalaryisdevelopedandtheefficiencycomparison
4、isgiveninthethreedifferentapplications,namely,thesinglenodemode,lpseudodistributionmodelandthefulldistributionmode.lKeywords:Hadooparchitecture;MapReducemechanism;distributedfilesystem在硬盤存儲(chǔ)容量快速增加的同時(shí),訪問速度,么可以大大提高數(shù)據(jù)訪問效率.若擁有100個(gè)磁即數(shù)據(jù)從硬盤讀取的速度未能快速提高.1990盤,每個(gè)磁盤存儲(chǔ)1%的數(shù)據(jù),讓
5、它們并行運(yùn)行,年,一個(gè)普通的硬盤驅(qū)動(dòng)器可以存儲(chǔ)1370MB的那么不到2min就可以讀完存儲(chǔ)的所有數(shù)據(jù).數(shù)據(jù)并擁有4.4MB/s的傳輸速度,只需5min就Hadoop架構(gòu)的引入使建立大型商業(yè)集群、解決超可以讀取整個(gè)磁盤的數(shù)據(jù).20年后的今天,海量大數(shù)據(jù)量處理的瓶頸難題成為可能,改善了傳統(tǒng)數(shù)據(jù)的出現(xiàn)使得使用1TB存儲(chǔ)容量的磁盤驅(qū)動(dòng)海量數(shù)據(jù)訪問帶來的訪問效率低下的狀況.本文器已很正常,由于數(shù)據(jù)傳輸速度在100MB/s左基于Hadoop架構(gòu)設(shè)計(jì)了職工工資統(tǒng)計(jì)實(shí)例,并對(duì)右,需要花2.5h以上才能讀取整個(gè)驅(qū)動(dòng)器的數(shù)該實(shí)例在單節(jié)點(diǎn)模式、偽分布
6、模式和完全分布模[1,2]據(jù).如果可以一次從多個(gè)磁盤上讀取數(shù)據(jù),那式應(yīng)用中的運(yùn)行效率進(jìn)行了分析和比較.收稿日期:2010-07-12通訊作者簡(jiǎn)介:田秀霞(1976-),女,在讀博士,副教授,河南湯陰人.主要研究方向?yàn)樾畔踩?數(shù)據(jù)庫安全,隱私保護(hù).Emai:ltianxxsmile@yahoo.com.cn.田秀霞,等:基于Hadoop架構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù)及其應(yīng)用71下,map函數(shù)處理過程僅是數(shù)據(jù)的一個(gè)準(zhǔn)備階段,1Hadoop的工作原理map函數(shù)輸出的是能讓reduce函數(shù)在其中工作的Hado
7、op是Apache軟件基金會(huì)所研發(fā)的分布數(shù)據(jù).map函數(shù)也可以很好地去除損壞的記錄,即[3,4]式基礎(chǔ)架構(gòu),于2005年推出,它使用分布式在map函數(shù)中過濾掉丟失、不可靠或錯(cuò)誤的氣象文件系統(tǒng)(HadoopDistributedFileSystem,HDFS)數(shù)據(jù).作為低層存儲(chǔ)支持.HDFS有著高容錯(cuò)性的特點(diǎn),以下面的幾行示例作為輸入數(shù)據(jù)(一些未使并將其設(shè)計(jì)部署在低廉的硬件設(shè)備上,以提供高用的列已經(jīng)去除,為了符合頁面寬度,用省略號(hào)表傳輸率來訪問應(yīng)用程序的數(shù)據(jù),適合那些有著超示):大數(shù)據(jù)集的應(yīng)用程序.目前國(guó)內(nèi)外著名的公司如(0,00
8、67011990999991950051507004Yahoo,阿里巴巴,百度,Facebook等都建立了基于9999999N9+00001+99999999999)Hadoop的應(yīng)用.下面分別從Hadoop的MapRe(106,0043011990999
