資源描述:
《基于hadoop的云計(jì)算基礎(chǔ)架構(gòu)分析》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、通信論壇計(jì)算機(jī)與網(wǎng)絡(luò)創(chuàng)新生活Computer&Network65基于Hadoop的云計(jì)算基礎(chǔ)架構(gòu)分析李響(葫蘆島第一職業(yè)中專計(jì)研中心遼寧葫蘆島125001)[摘要]Hadoop是一個(gè)可實(shí)現(xiàn)大規(guī)模分布式計(jì)算的開源軟件平臺,已經(jīng)被廣泛應(yīng)用在云計(jì)算領(lǐng)域。從Hadoop分布式文件系統(tǒng)架構(gòu)的整體入手,描述了其分布式數(shù)據(jù)存儲、分布式任務(wù)分配、分布式并行計(jì)算和分布式數(shù)據(jù)庫4個(gè)方面的核心內(nèi)容,并論述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和計(jì)算過程。使開發(fā)人員深入地理解Hadoop架構(gòu)的工作原理與實(shí)現(xiàn)過程,為云計(jì)算背景下的應(yīng)用程序開發(fā)提供重要的參考
2、。[關(guān)鍵詞]Hadoop云計(jì)算分布式文件系統(tǒng)中圖分類號:TP391文獻(xiàn)標(biāo)識碼:A文章編號:1008-1739(2012)02-65-3AnalysisofCloudComputingInfrastructureBasedonHadoopLIXiang(ComputerResearchCenterofTheFirstVocationalSchool,HuludaoLiaoning125001,China)Abstract:Hadoopisanopen-sourcesoftwarewhichcanachievelarge-scaledistributedcom
3、puting,soitiswidelyusedincloudcomputing.Startingwithdistributedfilesystemarchitectureofhadoop,thispaperdescribesdistributeddatastorage,distributedtaskassignment,distributedparallelcomputinganddistributeddatabase.ItdiscussesHDFSworkingprinciple,fileoperationprogressandMap/Reducewor
4、kingprincipleandcomputationprocedure.Thusitmakesdevelopersin-depthunderstandworkingprincipleandimplementprocedureofhadooparchitecture.Itprovidesimportantreferencefor?applicationdevelopmentofcloudcomputingbackground.Keywords:Hadoop;cloudcomputing;distributedfilesystem1引言2Hadoop平臺介紹
5、隨著時(shí)代的發(fā)展,人們對數(shù)據(jù)的海量存儲和超級計(jì)算能Hadoop是Apache開源組織的一個(gè)分布式計(jì)算開源框力提出了更高的要求,這在過去幾十年里促進(jìn)了硬件的發(fā)展,架,它可以運(yùn)行在大型集群的廉價(jià)硬件設(shè)備上,實(shí)現(xiàn)對集群的使芯片集成度符合摩爾定律呈指數(shù)增長,但是硬件畢竟受物控制和管理。而且Hapoop為應(yīng)用程序透明的提供了一組穩(wěn)定理極限的約束。另外,由于傳統(tǒng)并行編程模型應(yīng)用的局限性,可靠的接口,屏蔽了并行應(yīng)用開發(fā)的細(xì)節(jié),實(shí)現(xiàn)更加便捷的構(gòu)客觀上要求一種容易學(xué)習(xí)、使用、部署的新的并行編程框架。建企業(yè)級的應(yīng)用,并且能夠?qū)崿F(xiàn)海量數(shù)據(jù)的管理和分布式數(shù)因此,產(chǎn)生了云計(jì)算。云計(jì)算
6、概念由Google提出,是對分布式據(jù)處理。處理、并行處理和網(wǎng)格計(jì)算及分布式數(shù)據(jù)庫的改進(jìn)處理,Hadoop最核心的設(shè)計(jì)就是分布式文件系統(tǒng)HDFS和Google在2006年推出Google的企業(yè)服務(wù)即為云計(jì)算服務(wù)的Map/Reduce算法模型。分布式文件系統(tǒng)HDFS是專門為雛形[1]。用戶只需要通過瀏覽器連接到Google,就可以進(jìn)行相Map/Reduce作業(yè)所設(shè)計(jì)的文件系統(tǒng)。但HDFS并不是用來處應(yīng)的存儲和計(jì)算處理。Google還提供了GoogleDocs、Google理隨機(jī)存取數(shù)據(jù)的,HDFS的設(shè)計(jì)中更多的考慮到了數(shù)據(jù)批處Desktop等作為個(gè)人網(wǎng)絡(luò)用戶的
7、在線軟件應(yīng)用及云計(jì)算模式理,而不是用戶交互處理,比之?dāng)?shù)據(jù)訪問的低延遲問題,更關(guān)的初步體驗(yàn)。隨著云計(jì)算理念和應(yīng)用的推廣,IBM、微軟、A-鍵的在于數(shù)據(jù)訪問的高吞吐量。因此,HDFS是一個(gè)給應(yīng)用提mazon等信息業(yè)巨頭都已經(jīng)參與到云計(jì)算研究和開發(fā)中,并供高吞吐量的分布式文件系統(tǒng)[2],可能由成百上千的機(jī)器所且出現(xiàn)了Hadoop架構(gòu),對用戶開源并迅速發(fā)展起來。構(gòu)成,每個(gè)機(jī)器上存儲著文件系統(tǒng)的部分?jǐn)?shù)據(jù)。計(jì)算模型定稿日期:2011-12-262012年第02期《計(jì)算機(jī)與網(wǎng)絡(luò)》通信論壇66Computer&Network計(jì)算機(jī)與網(wǎng)絡(luò)創(chuàng)新生活Map/Reduce是Had
8、oop的核心計(jì)算模型[3],是用于在集群上HDFS的“一次寫入多次