資源描述：
《基于hadoop的云計(jì)算基礎(chǔ)架構(gòu)分析》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、通信論壇計(jì)算機(jī)與網(wǎng)絡(luò)創(chuàng)新生活Computer＆Network65基于Hadoop的云計(jì)算基礎(chǔ)架構(gòu)分析李響（葫蘆島第一職業(yè)中專計(jì)研中心遼寧葫蘆島125001）[摘要]Hadoop是一個(gè)可實(shí)現(xiàn)大規(guī)模分布式計(jì)算的開源軟件平臺，已經(jīng)被廣泛應(yīng)用在云計(jì)算領(lǐng)域。從Hadoop分布式文件系統(tǒng)架構(gòu)的整體入手，描述了其分布式數(shù)據(jù)存儲、分布式任務(wù)分配、分布式并行計(jì)算和分布式數(shù)據(jù)庫4個(gè)方面的核心內(nèi)容，并論述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和計(jì)算過程。使開發(fā)人員深入地理解Hadoop架構(gòu)的工作原理與實(shí)現(xiàn)過程，為云計(jì)算背景下的應(yīng)用程序開發(fā)提供重要的參考
2、。[關(guān)鍵詞]Hadoop云計(jì)算分布式文件系統(tǒng)中圖分類號：TP391文獻(xiàn)標(biāo)識碼：A文章編號：1008-1739（2012）02-65-3AnalysisofCloudComputingInfrastructureBasedonHadoopLIXiang(ComputerResearchCenterofTheFirstVocationalSchool,HuludaoLiaoning125001,China)Abstract：Hadoopisanopen-sourcesoftwarewhichcanachievelarge-scaledistributedcom
3、puting,soitiswidelyusedincloudcomputing.Startingwithdistributedfilesystemarchitectureofhadoop,thispaperdescribesdistributeddatastorage,distributedtaskassignment,distributedparallelcomputinganddistributeddatabase.ItdiscussesHDFSworkingprinciple,fileoperationprogressandMap/Reducewor
4、kingprincipleandcomputationprocedure.Thusitmakesdevelopersin-depthunderstandworkingprincipleandimplementprocedureofhadooparchitecture.Itprovidesimportantreferencefor?applicationdevelopmentofcloudcomputingbackground.Keywords：Hadoop;cloudcomputing;distributedfilesystem1引言2Hadoop平臺介紹
5、隨著時(shí)代的發(fā)展，人們對數(shù)據(jù)的海量存儲和超級計(jì)算能Hadoop是Apache開源組織的一個(gè)分布式計(jì)算開源框力提出了更高的要求，這在過去幾十年里促進(jìn)了硬件的發(fā)展，架，它可以運(yùn)行在大型集群的廉價(jià)硬件設(shè)備上，實(shí)現(xiàn)對集群的使芯片集成度符合摩爾定律呈指數(shù)增長，但是硬件畢竟受物控制和管理。而且Hapoop為應(yīng)用程序透明的提供了一組穩(wěn)定理極限的約束。另外，由于傳統(tǒng)并行編程模型應(yīng)用的局限性，可靠的接口，屏蔽了并行應(yīng)用開發(fā)的細(xì)節(jié)，實(shí)現(xiàn)更加便捷的構(gòu)客觀上要求一種容易學(xué)習(xí)、使用、部署的新的并行編程框架。建企業(yè)級的應(yīng)用，并且能夠?qū)崿F(xiàn)海量數(shù)據(jù)的管理和分布式數(shù)因此，產(chǎn)生了云計(jì)算。云計(jì)算
6、概念由Google提出，是對分布式據(jù)處理。處理、并行處理和網(wǎng)格計(jì)算及分布式數(shù)據(jù)庫的改進(jìn)處理，Hadoop最核心的設(shè)計(jì)就是分布式文件系統(tǒng)HDFS和Google在2006年推出Google的企業(yè)服務(wù)即為云計(jì)算服務(wù)的Map/Reduce算法模型。分布式文件系統(tǒng)HDFS是專門為雛形[1]。用戶只需要通過瀏覽器連接到Google，就可以進(jìn)行相Map/Reduce作業(yè)所設(shè)計(jì)的文件系統(tǒng)。但HDFS并不是用來處應(yīng)的存儲和計(jì)算處理。Google還提供了GoogleDocs、Google理隨機(jī)存取數(shù)據(jù)的，HDFS的設(shè)計(jì)中更多的考慮到了數(shù)據(jù)批處Desktop等作為個(gè)人網(wǎng)絡(luò)用戶的
7、在線軟件應(yīng)用及云計(jì)算模式理，而不是用戶交互處理，比之?dāng)?shù)據(jù)訪問的低延遲問題，更關(guān)的初步體驗(yàn)。隨著云計(jì)算理念和應(yīng)用的推廣，IBM、微軟、A-鍵的在于數(shù)據(jù)訪問的高吞吐量。因此，HDFS是一個(gè)給應(yīng)用提mazon等信息業(yè)巨頭都已經(jīng)參與到云計(jì)算研究和開發(fā)中，并供高吞吐量的分布式文件系統(tǒng)[2]，可能由成百上千的機(jī)器所且出現(xiàn)了Hadoop架構(gòu)，對用戶開源并迅速發(fā)展起來。構(gòu)成，每個(gè)機(jī)器上存儲著文件系統(tǒng)的部分?jǐn)?shù)據(jù)。計(jì)算模型定稿日期：2011-12-262012年第02期《計(jì)算機(jī)與網(wǎng)絡(luò)》通信論壇66Computer＆Network計(jì)算機(jī)與網(wǎng)絡(luò)創(chuàng)新生活Map/Reduce是Had
8、oop的核心計(jì)算模型[3]，是用于在集群上HDFS的“一次寫入多次
