資源描述：
《基于hadoop架構(gòu)的分布式計算和存儲技術(shù)及其應(yīng)用new》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第27卷第1期上海電力學(xué)院學(xué)報Vo.l27,No.12011年2月JournalofShanghaiUniversityofElectricPowerFeb.2011文章編號:1006-4729(2011)01-0070-05基于Hadoop架構(gòu)的分布式計算和存儲技術(shù)及其應(yīng)用田秀霞,周耀君,畢忠勤,彭源(上海電力學(xué)院計算機與信息工程學(xué)院,上海200090)摘要:介紹了Hadoop架構(gòu)的主要構(gòu)成,通過一個實例詳細闡述了Hadoop架構(gòu)的MapReduce實現(xiàn)機制;開發(fā)了一個基于Hadoop架構(gòu)職工工資統(tǒng)
2、計應(yīng)用實例,并根據(jù)該實例分析了其在單節(jié)點模式、偽分布模式和完全分布模式應(yīng)用中的運行效率.關(guān)鍵詞:Hadoop架構(gòu);MapReduce機制;分布式文件系統(tǒng)中圖分類號:TP333;TP316.4文獻標(biāo)識碼:ATheTechnologyandApplicationofDistributedComputingandStorageBasedonHadoopArchitectureTIANXiuxia,ZHOUYaojun,BIZhongqin,PENGYuan(SchoolofComputerandInformationEng
3、ineering,ShanghaiUniversityofElectricPower,Shanghai200090,China)Abstract:ThekeycomponentsofHadoopareintroducedfirs,tthentheMapReduceimplementationmechanismisanalyzed.Whatismoreimportan,tanapplicationforstatisticsofemployeesalaryisdevelopedandtheefficiencycomparison
4、isgiveninthethreedifferentapplications,namely,thesinglenodemode,lpseudodistributionmodelandthefulldistributionmode.lKeywords:Hadooparchitecture;MapReducemechanism;distributedfilesystem在硬盤存儲容量快速增加的同時,訪問速度,么可以大大提高數(shù)據(jù)訪問效率.若擁有100個磁即數(shù)據(jù)從硬盤讀取的速度未能快速提高.1990盤,每個磁盤存儲1%的數(shù)據(jù),讓
5、它們并行運行,年,一個普通的硬盤驅(qū)動器可以存儲1370MB的那么不到2min就可以讀完存儲的所有數(shù)據(jù).數(shù)據(jù)并擁有4.4MB/s的傳輸速度,只需5min就Hadoop架構(gòu)的引入使建立大型商業(yè)集群、解決超可以讀取整個磁盤的數(shù)據(jù).20年后的今天,海量大數(shù)據(jù)量處理的瓶頸難題成為可能,改善了傳統(tǒng)數(shù)據(jù)的出現(xiàn)使得使用1TB存儲容量的磁盤驅(qū)動海量數(shù)據(jù)訪問帶來的訪問效率低下的狀況.本文器已很正常,由于數(shù)據(jù)傳輸速度在100MB/s左基于Hadoop架構(gòu)設(shè)計了職工工資統(tǒng)計實例,并對右,需要花2.5h以上才能讀取整個驅(qū)動器的數(shù)該實例在單節(jié)點模式、偽分布
6、模式和完全分布模[1,2]據(jù).如果可以一次從多個磁盤上讀取數(shù)據(jù),那式應(yīng)用中的運行效率進行了分析和比較.收稿日期:2010-07-12通訊作者簡介:田秀霞(1976-),女,在讀博士,副教授,河南湯陰人.主要研究方向為信息安全,數(shù)據(jù)庫安全,隱私保護.Emai:ltianxxsmile@yahoo.com.cn.田秀霞,等:基于Hadoop架構(gòu)的分布式計算和存儲技術(shù)及其應(yīng)用71下,map函數(shù)處理過程僅是數(shù)據(jù)的一個準(zhǔn)備階段,1Hadoop的工作原理map函數(shù)輸出的是能讓reduce函數(shù)在其中工作的Hado
7、op是Apache軟件基金會所研發(fā)的分布數(shù)據(jù).map函數(shù)也可以很好地去除損壞的記錄,即[3,4]式基礎(chǔ)架構(gòu),于2005年推出,它使用分布式在map函數(shù)中過濾掉丟失、不可靠或錯誤的氣象文件系統(tǒng)(HadoopDistributedFileSystem,HDFS)數(shù)據(jù).作為低層存儲支持.HDFS有著高容錯性的特點,以下面的幾行示例作為輸入數(shù)據(jù)(一些未使并將其設(shè)計部署在低廉的硬件設(shè)備上,以提供高用的列已經(jīng)去除,為了符合頁面寬度,用省略號表傳輸率來訪問應(yīng)用程序的數(shù)據(jù),適合那些有著超示):大數(shù)據(jù)集的應(yīng)用程序.目前國內(nèi)外著名的公司如(0,00
8、67011990999991950051507004Yahoo,阿里巴巴,百度,Facebook等都建立了基于9999999N9+00001+99999999999)Hadoop的應(yīng)用.下面分別從Hadoop的MapRe(106,0043011990999
