hadoop集群的自動(dòng)化部署

《hadoop集群的自動(dòng)化部署》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、.安徽農(nóng)業(yè)大學(xué)畢業(yè)論文（設(shè)計(jì)）論文題目Hadoop集群的自動(dòng)化部署研究姓名周云揚(yáng)學(xué)號(hào)10168134院系信息與計(jì)算機(jī)學(xué)院專業(yè)網(wǎng)絡(luò)工程指導(dǎo)教師朱軍職稱副教授中國(guó)·合肥二〇一四年五月-..安徽農(nóng)業(yè)大學(xué)學(xué)士學(xué)位論文（設(shè)計(jì)）開(kāi)題報(bào)告課題名稱Hadoop集群的自動(dòng)化部署研究課題來(lái)源自擬學(xué)生姓名周云揚(yáng)專業(yè)10網(wǎng)絡(luò)工程學(xué)號(hào)10168134指導(dǎo)教師朱軍職稱副教授研究?jī)?nèi)容(1)系統(tǒng)安裝：熟悉linux系統(tǒng)的安裝過(guò)程，搭建自動(dòng)化安裝平臺(tái)cobbler，了解dhcp，pxe，kickstart，遠(yuǎn)程管理idrac。通過(guò)網(wǎng)絡(luò)安裝實(shí)現(xiàn)批量自動(dòng)化部署，修改kickstart的配置文件可定制自己需

2、要的系統(tǒng)。(2)hadoop環(huán)境部署：在cobbbler的基礎(chǔ)上使用ApacheAmbari部署管理Hadoop，通過(guò)web界面安裝向?qū)Ш?jiǎn)化了集群部署過(guò)程。研究計(jì)劃1月初~2月底：熟悉以往的生產(chǎn)環(huán)境部署過(guò)程，提出改進(jìn)過(guò)程。3月初~3月低：根據(jù)提出的改進(jìn)過(guò)程，調(diào)研可行方案，并確定最終方案。4月初~4月低：部署測(cè)試和自動(dòng)化安裝平臺(tái)和集群環(huán)境。5月初~5月中：測(cè)試整個(gè)平臺(tái)的的易用性和穩(wěn)定性。5月低：撰寫(xiě)畢業(yè)設(shè)計(jì)論文，準(zhǔn)備畢業(yè)論文答辯。特色與創(chuàng)新(1)適用于大規(guī)模集群部署，提高效率，節(jié)省用戶時(shí)間。(2)用戶可以很方便的管理和控制集群并有效地查看信息。指導(dǎo)教師意見(jiàn)同意開(kāi)題教研室

3、意見(jiàn)同意開(kāi)題院系意見(jiàn)主要領(lǐng)導(dǎo)簽名：年月日-..目錄1引言12自動(dòng)化部署工具介紹13COBBLER的安裝部署和配置以及使用23.1COBBLER的介紹23.2COBBLER的設(shè)計(jì)方式23.3COBBLER的安裝33.3.1COBBLER的安裝43.3.2COBBLER的配置53.3.3設(shè)置CENTOS系統(tǒng)的環(huán)境63.3.4COBBLER的使用84使用AMBARI部署HADOOP124.1環(huán)境準(zhǔn)備124.1.1配置免秘鑰登錄134.1.2批量分發(fā)公鑰144.2AMBARI的安裝154.1.1配置源154.1.2構(gòu)建本地源154.1.3配置NTP服務(wù)164.1.4安裝AMB

4、ARI-SERVER服務(wù)174.1.5開(kāi)啟服務(wù)184.3使用AMBARI部署HADOOP195結(jié)束語(yǔ)26參考文獻(xiàn)26英文摘要27致謝27-..Hadoop集群的自動(dòng)化部署研究學(xué)生：周云揚(yáng)，指導(dǎo)教師：朱軍(安徽農(nóng)業(yè)大學(xué)信息與計(jì)算機(jī)學(xué)院合肥230036)摘要：Hadoop作為當(dāng)下最主流的大數(shù)據(jù)分布式計(jì)算平臺(tái)，已成為當(dāng)前互聯(lián)網(wǎng)企業(yè)主流的選擇。集群的規(guī)模也越來(lái)越大，在集群上線前期，部署通常要占用大量的時(shí)間和精力。為了有效地部署和管理大規(guī)模的集群計(jì)算節(jié)點(diǎn)，本文通過(guò)cobbler和ambari這兩個(gè)開(kāi)源軟件的使用完成hadoop集群的自動(dòng)化部署。Cobbler主要是完成前期系統(tǒng)環(huán)

5、境的自動(dòng)化部署，通過(guò)定制kickstart文件來(lái)配置合適的系統(tǒng)環(huán)境。ambari是對(duì)hadoop進(jìn)行監(jiān)控、管理和生命周期管理的基于網(wǎng)頁(yè)的開(kāi)源項(xiàng)目。當(dāng)集群的節(jié)點(diǎn)達(dá)到幾十或成百上千個(gè)的時(shí)候，Ambari可以使安裝hadoop集群，管理hadoop集群服務(wù)，監(jiān)控集群變得很方便，節(jié)約了大量的人力和時(shí)間。關(guān)鍵詞：cobbler，ambari，自動(dòng)化部署，hadoop集群1引言Hadoop作為分布式計(jì)算平臺(tái)，雖然可以很容易的處理海量數(shù)據(jù)，但是部署步驟較為繁瑣。官方上的部署文檔一般是配置免秘鑰登錄、配置jdk、修改相關(guān)配置文件，再分發(fā)幾臺(tái)到節(jié)點(diǎn)服務(wù)器上。幾個(gè)節(jié)點(diǎn)的集群從系統(tǒng)安裝好到

6、集群部署完成需要幾個(gè)小時(shí)，相關(guān)服務(wù)無(wú)法啟動(dòng)的話還需要慢慢排錯(cuò)，意味著集群投入使用需要更長(zhǎng)的時(shí)間。每次部署如果都手動(dòng)部署環(huán)境的話會(huì)非常麻煩，手工部署顯得效率低，容易出錯(cuò)。因此，自動(dòng)化部署集群顯得更適合大規(guī)模集群上線的情景，而且只需配置一次，測(cè)試成功后以后都可以使用。2自動(dòng)化部署介紹生產(chǎn)線環(huán)境一般包括兩部分，系統(tǒng)和應(yīng)用。系統(tǒng)是基礎(chǔ)，應(yīng)用是重點(diǎn)。自動(dòng)化部署應(yīng)該包含這兩部分，本文會(huì)用到以下自動(dòng)化工具。(1)Cobbler：Redhat最新發(fā)布的的自動(dòng)化部署系統(tǒng)工具，可以管理dhcp，tftp，更重要的是它可以針對(duì)特定mac地址服務(wù)器作設(shè)置，這樣安全性大大提高。還提供了web接

7、口和API，操作起來(lái)更簡(jiǎn)單同時(shí)也便于二次開(kāi)發(fā)。-..(2)Ambari：hadoop的管理平臺(tái)，同時(shí)也方便hadoop的部署。類似的還有CloudManager，在本文中部署的hadoop2.0的環(huán)境。支持一鍵安裝各種組件，如hbase、hive、pig等等。因?yàn)檫@些組件中也是分布式的，部署的流程是基于hadoop環(huán)境搭建好，所以也比較麻煩。更值得注意的是，它可以幫助我們很輕松的安裝ganglia和nagios,這樣有助于我們觀察子節(jié)點(diǎn)的狀態(tài)，如datanode讀寫(xiě)數(shù)據(jù)，內(nèi)存，磁盤(pán)等等資源使用情況。方便我們對(duì)配置作調(diào)整，進(jìn)一步優(yōu)化集群。1Cobble