資源描述：
《hadoop實驗集群搭建手冊》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、Hadoop實驗集群搭建手冊Ver.變更日期變更者說明12015/8/10王旭東初版目錄1.目的：42.集群構(gòu)成：42.1.集群構(gòu)成圖：42.2.集群構(gòu)成明細(xì)：53.Hadoop安裝前的準(zhǔn)備：53.1.安裝JDK53.2?0參改/etc/hosts文件633增加Hadoop集群專有用戶73.4.安裝和配置SSH71.安裝和配置Hadoop集群84?1?在NameNode節(jié),點安裝Hadoop84.2.修改search用戶環(huán)境設(shè)置文件94.3.在NameNode節(jié)點配置Hadoop104.3.1酉己置hadoop-env.sh文件104.3.2酉己置core-site.xm
2、l文件114.3.3西己置mapred-site.xml文件114.3.4酉己置hdfs-site.xml文件124.3.5配置yarn-site.xml文件134.3.6配置主、從節(jié)點列表文件144.4.遠(yuǎn)程復(fù)制Hadoop到集群其他節(jié)點142.啟動Hadoop集群142.1.系統(tǒng)格式化142.2.啟動集群155.2.1啟動HDFS分布式文件系統(tǒng)155.2.2啟動YARN資源管理器155.2.3驗證集群運(yùn)行狀況151.Hadoop集群動態(tài)扌'?展171.1.Hosts和Slaves文件中增加新增節(jié)點信息181.2.配置新增節(jié)點的SSH181.3.遠(yuǎn)程復(fù)制Hadoop到新
3、增節(jié)點191.4.在新增節(jié)點上單獨(dú)啟動Hadoop191?目的:本手冊旨在熟悉Hadoop2.X集群的安裝與配置過程。通過本手冊的內(nèi)容，使用戶可以搭建一個擁有三個節(jié)點的Hadoop集群。2?集群構(gòu)成：2.1.集群構(gòu)成圖：.110:19000hataNode192-16&82.107SecondaryNaiiHjXode192.168.82.109:50090[JataNodc2.2.集群構(gòu)成明細(xì):該集群一共有三個安裝了64位CentOS6.6系統(tǒng)的服務(wù)器節(jié)點。如下：1.NameNode：NameNode的主機(jī)名IP地址為:CentOS-Wl(192.168.82.110)
4、；2.SecondaryNameNode&DataNodel：DataNodel同時兼做SecondaryNameNode使用。它的主機(jī)名IP地址為：CentOS-W2(192.168.82.109)；3.DataNode2：DataNode2的主機(jī)名IP地址為：CentOS-W3(192.168.82.107)o3.Hadoop安裝前的準(zhǔn)備:3.1.安裝JDK雖然CentOS6.6自帶了一個open版的JDK。但為了保證集群運(yùn)轉(zhuǎn)正常，建議還是卸載自帶版本后安裝SUN公司提供的標(biāo)準(zhǔn)版Java?的JDK包。首先在用root用戶登錄CentOS-Wl的系統(tǒng)后，通過以下命令(紅
5、字部分)檢查系統(tǒng)已安裝的JDK包的名稱：[root@CentOS-Wl/]$rpm-qa
6、grepjdkjdkJ?7.0_75?fcs.x86_64java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64通過yumremove命令卸載這些系統(tǒng)自帶的JDK包:（如果在卸載jdk-1.7.0_75-fcs.x86_64包的同時，另外兩個JDK包作為關(guān)聯(lián)包也同時被卸載了，那么就不用再分別卸載它們了）接下來從Oracle官網(wǎng)下載64的JDK1.7的
7、RPM安裝包到/mnt/hgfs/Share目錄下后安裝它。這里使用的安裝包是：jdk-7u79-linux-x64.rpmo到這里為止就完成了CentOS-Wl±的標(biāo)準(zhǔn)JDK的安裝工作。JDK的默認(rèn)安裝目錄為〃/usr/java/jdkl.7.0_79/"orwxrrwrwrwrwrw月曰“月月月月月月月月月月月84888848444346214355141111197X-XXXX?X-----IrrrrrrrrrrrrrX-XXXX-X??■二rootrootrootrootrootrootrootrootrootrootrootrootrootrootrootroo
8、trootrootrootrootrootrootrootrootrootroot40963339409640964096409640409611449919940807110114173571614:441102:49COPYRIGHT614:44614:44614:44614:441102:49LICENSE614:441102:49README.html1102:49release1102:49src.zip1703:27THIRDPARTYLICENSEREADME-JAVAFX.txt1102：49THIRDPART
