資源描述：
《基于hadoop的云平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。
1、為了確?！敖虒W(xué)點(diǎn)數(shù)字教育資源全覆蓋”項(xiàng)目設(shè)備正常使用，我校做到安裝、教師培訓(xùn)同步進(jìn)行。設(shè)備安裝到位后，中心校組織各學(xué)點(diǎn)管理人員統(tǒng)一到縣教師進(jìn)修學(xué)校進(jìn)行培訓(xùn)，熟悉系統(tǒng)的使用和維護(hù)?；贖adoop的云平臺(tái)設(shè)計(jì)與實(shí)現(xiàn) 摘要：Hadoop是一個(gè)免費(fèi)、可靠、高效、可擴(kuò)展的開(kāi)源云平臺(tái)，允許在分布式集群上處理大數(shù)據(jù)的軟件框架。本文以Hadoop為基礎(chǔ)，詳細(xì)介紹了虛擬機(jī)VMware、JDK、CentOS、Hadoop等技術(shù)。在偽分布式環(huán)境下搭建虛擬云平臺(tái)，經(jīng)過(guò)測(cè)試，本系統(tǒng)能正常運(yùn)行MapReduce化的分布式程序
2、，本文還針對(duì)用戶權(quán)限、路徑配置和使用SSH服務(wù)程序等問(wèn)題進(jìn)行了詳細(xì)的闡述，為基于Hadoop的云平臺(tái)研究和應(yīng)用程序開(kāi)發(fā)提供了基礎(chǔ)?！ ￡P(guān)鍵詞：Hadoop；MapReduce；云平臺(tái)搭建 中圖分類號(hào)：TP393文獻(xiàn)標(biāo)識(shí)碼：A Abstract：Hadoopisafree，reliable，efficientandscalableopensourcecloudplatform，whichallowsthesoftwareframeworktodealwithlargedataonadistribut
3、edcluster.BasedonHadoop，thispaperintroducesthetechnologyofCentOS，JDK，HadoopandVMwareinvirtualmachine.Virtualcloudplatformisbuiltinthepseudodistributedenvironment.Aftertesting，thesystemcanruntheMapReduceorienteddistributedprogram.Thispaperalsoprovidesaba
4、sisfortheresearchoftheSSHbasedcloudplatformandapplicationprogrambasedonHadoop.為了充分發(fā)揮“教學(xué)點(diǎn)數(shù)字教育資源全覆蓋”項(xiàng)目設(shè)備的作用，我們不僅把資源運(yùn)用于課堂教學(xué)，還利用系統(tǒng)的特色欄目開(kāi)展課外活動(dòng)，對(duì)學(xué)生進(jìn)行安全教育、健康教育、反邪教教育等豐富學(xué)生的課余文化生活。為了確?！敖虒W(xué)點(diǎn)數(shù)字教育資源全覆蓋”項(xiàng)目設(shè)備正常使用，我校做到安裝、教師培訓(xùn)同步進(jìn)行。設(shè)備安裝到位后，中心校組織各學(xué)點(diǎn)管理人員統(tǒng)一到縣教師進(jìn)修學(xué)校進(jìn)行培訓(xùn)，熟悉系統(tǒng)
5、的使用和維護(hù)。 Keywords：Hadoop；MapReduce；Constructthecloudcomputingplatform 0引言 隨著互聯(lián)網(wǎng)時(shí)代信息與數(shù)據(jù)的飛速增長(zhǎng)，科學(xué)、工程和商業(yè)等研究領(lǐng)域均需要處理大規(guī)模以及超大規(guī)模的數(shù)據(jù)，對(duì)計(jì)算能力的需求已遠(yuǎn)遠(yuǎn)超出自身系統(tǒng)架構(gòu)的承載運(yùn)行限度。云計(jì)算是分布式計(jì)算、并行處理和網(wǎng)格計(jì)算的進(jìn)一步發(fā)展，是基于互聯(lián)網(wǎng)的計(jì)算，能夠向各種互聯(lián)網(wǎng)應(yīng)用提供基礎(chǔ)架構(gòu)服務(wù)、硬件服務(wù)、軟件服務(wù)、平臺(tái)服務(wù)、存儲(chǔ)服務(wù)，這就意味著計(jì)算可以作為一種商品實(shí)現(xiàn)流通，不僅使用方便
6、，費(fèi)用也相對(duì)低廉[1]。此外，由于傳統(tǒng)并行編程模型應(yīng)用的設(shè)計(jì)局限，客觀上需要一種容易學(xué)習(xí)、使用和部署的編程框架，而Hadoop就是一個(gè)優(yōu)秀的大數(shù)據(jù)處理框架，性能表現(xiàn)高效穩(wěn)定，非常適合選擇作為云計(jì)算的基礎(chǔ)架構(gòu)?！ ?相關(guān)技術(shù)介紹 Hadoop是一個(gè)可運(yùn)行在大量低配硬件設(shè)備上的分布式計(jì)算框架，并且能為其中的應(yīng)用程序提供可靠的接口，構(gòu)建擴(kuò)展性好、可靠性強(qiáng)、具有良好可移植性的分布式系統(tǒng)[2]。Hadoop云平臺(tái)主要包括：HDFS分布式文件系統(tǒng)、MapReduce編程模型、HBase數(shù)據(jù)庫(kù)和Zookeeper
7、分布式應(yīng)用程序協(xié)調(diào)服務(wù)。這剛好與Google核心技術(shù)GFS、MapReduce和BigTable類似。為了充分發(fā)揮“教學(xué)點(diǎn)數(shù)字教育資源全覆蓋”項(xiàng)目設(shè)備的作用，我們不僅把資源運(yùn)用于課堂教學(xué)，還利用系統(tǒng)的特色欄目開(kāi)展課外活動(dòng)，對(duì)學(xué)生進(jìn)行安全教育、健康教育、反邪教教育等豐富學(xué)生的課余文化生活。為了確?！敖虒W(xué)點(diǎn)數(shù)字教育資源全覆蓋”項(xiàng)目設(shè)備正常使用，我校做到安裝、教師培訓(xùn)同步進(jìn)行。設(shè)備安裝到位后，中心校組織各學(xué)點(diǎn)管理人員統(tǒng)一到縣教師進(jìn)修學(xué)校進(jìn)行培訓(xùn)，熟悉系統(tǒng)的使用和維護(hù)?！ 》植际轿募到y(tǒng)HDFS Hadoo
8、p分布式文件系統(tǒng)可以將信息存儲(chǔ)在具有不同節(jié)點(diǎn)的設(shè)備中。具體由2部分組成，分別是：名稱節(jié)點(diǎn)NameNode和數(shù)據(jù)節(jié)點(diǎn)DataNode，NameNode相當(dāng)于管理者，全面管理集群內(nèi)的DataNode，當(dāng)用戶發(fā)送請(qǐng)求信息后，NameNode會(huì)根據(jù)情況指定存儲(chǔ)到哪些DataNode上，而并不存儲(chǔ)真實(shí)的數(shù)據(jù)。原理工作流程如圖1所示。 HDFS在執(zhí)行讀或?qū)懙倪^(guò)程中，NameNode和DataNode通過(guò)心跳信息保存通信，確定DataNode不是宕機(jī)。如果發(fā)現(xiàn)Dat
