資源描述：
《hadoop集群搭建文檔》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、Hadoop集群搭建文檔環(huán)境：Win7系統(tǒng)裝虛擬機(jī)虛擬機(jī)VMware-workstation-full-9.0.0-812388.exeLinux系統(tǒng)Ubuntu12.0.4JDKjdk-7u17-linux-i586.tar.gz搭建步驟：1.首先在win系統(tǒng)裝虛擬機(jī)，執(zhí)行VMware-workstation-full-9.0.0-812388.exe；2.其次需要在虛擬機(jī)上裝Ubuntu12.0.4；3.安裝完成Ubuntu12.0.4之后，需要安裝JDK，(注意：安裝JDK需要處理一些其他問題，JDK必須是Linux版本的，還有就是JDK要和操作系統(tǒng)的位數(shù)相
2、符合，比如32位、64位都有對應(yīng)的安裝包)：JDk的安裝路徑，我直接解壓到/opt/jdk這個目錄下；4.安裝完JDK需要配置環(huán)境變量，具體如下截圖所示：需要修改兩個地方environment和profile文件；1.由于Ubuntu中一般安裝有默認(rèn)的JDK，如openjdk，所以，為了使默認(rèn)使用的是我們安裝的jdk，還要進(jìn)行如下工作。sudoupdate-alternatives--install/usr/bin/javajava/opt/jdk/jdk1.7.0_17/bin/java300sudoupdate-alternatives--install/us
3、r/bin/javacjavac/opt/jdk/jdk1.7.0_17/bin/javac3002.在終端輸入java–version/javac測試安裝JDK是否成功；3.每當(dāng)Ubuntu安裝成功時，我們的機(jī)器名都默認(rèn)為：Ubuntu，但為了以后集群中能夠容易分辨各臺服務(wù)器，需要給每臺機(jī)器取個不同的名字。機(jī)器名由/etc/hostname文件決定。輸入此命令，在打開的文件中修改機(jī)器名，我的機(jī)器名是Master；1.安裝SSH服務(wù)，實現(xiàn)無密碼登陸；sudoapt-getinstallsshopenssh-server安裝完成SSH后，可以查看SSH是否啟動等；2
4、.安裝SSH服務(wù)完成后就需要配置無密碼登錄，具體如下圖所示：進(jìn)入安裝目錄：剛開始可能沒有authorized_keys和known_hosts文件，需要執(zhí)行該命令；將產(chǎn)生的公鑰加入到該文件中，可以打開看id_rsa.pub文件：有關(guān)ssh公鑰與密鑰的具體問題可以百度；執(zhí)行如下命令將authorized_keys文件分發(fā)給其他節(jié)點；注意每個節(jié)點都需要生成公鑰，然后將三個節(jié)點的公鑰合并在一個文件中，三個節(jié)點的authorized_keys必須一致。如下圖所示：注意文件的權(quán)限修改有可能導(dǎo)致ssh無密碼登錄配置失效，此處修改文件需要慎重；配置完成后就可實現(xiàn)無密碼登陸；如下
5、圖所示：1.安裝hadoop，安裝包拷貝到安裝目錄下；如下圖所示：將安裝包解壓到該目錄；執(zhí)行如下命令：2.安裝完成后，需要配置hadoop，具體操作如下所示：需要修改的文件都在/opt/hadoop/hadoop-0.20.2/conf/目錄下：3.修改hadoop-env.sh文件：加入JDK的路徑；1.修改core-site.xml:2.修改hdfs-site.xml:1.修改mapred-site.xml:2.配置masters文件：節(jié)點機(jī)上需要配置Slaves文件，與該文件類似；3.此時已完成hadoop配置；4.在虛擬機(jī)的Manager-àClone中克
6、隆新的節(jié)點，也可以不克隆，自己安裝，安裝完成需要將Master中的JDK、hadoop的文件拷貝過去。5.我采用的是分布式；一個電腦安裝了一個虛擬機(jī)做為Master，另外一個電腦安裝了虛擬機(jī)，在虛擬機(jī)上安裝的兩個Ubuntu，即該機(jī)器模擬了兩個節(jié)點，此實驗需要三個節(jié)點。Master10.18.12.47Slave110.18.12.48Slave210.18.12.2541.虛擬機(jī)之間需要能ping通；此結(jié)果代表可以ping通；2.做完所有的準(zhǔn)備工作現(xiàn)在就可以啟動hadoop集群，執(zhí)行命令如下：啟動：3.查看集群是否啟動；1.也可以用該命令查看：1.通過jsp頁面
7、查看：http://10.18.12.47:50030/jobtracker.jsphttp://10.18.12.47:50070/dfshealth.jsp2.至此關(guān)于集群搭建結(jié)束，
