資源描述：
《hadoop集群搭建文檔》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、Hadoop集群搭建文檔環(huán)境：Win7系統(tǒng)裝虛擬機(jī)虛擬機(jī)VMware-workstation-full-9.0.0-812388.exeLinux系統(tǒng)Ubuntu12.0.4JDKjdk-7u17-linux-i586.tar.gz搭建步驟：1.首先在win系統(tǒng)裝虛擬機(jī)，執(zhí)行VMware-workstation-full-9.0.0-812388.exe；2.其次需要在虛擬機(jī)上裝Ubuntu12.0.4；3.安裝完成Ubuntu12.0.4之后，需要安裝JDK，(注意：安裝JDK需要處理一些其他問題，JDK必須是Linux版本的，還有就是JDK要和操作系統(tǒng)的位數(shù)相
2、符合，比如32位、64位都有對(duì)應(yīng)的安裝包)：JDk的安裝路徑，我直接解壓到/opt/jdk這個(gè)目錄下；4.安裝完JDK需要配置環(huán)境變量，具體如下截圖所示：需要修改兩個(gè)地方environment和profile文件；1.由于Ubuntu中一般安裝有默認(rèn)的JDK，如openjdk，所以，為了使默認(rèn)使用的是我們安裝的jdk，還要進(jìn)行如下工作。sudoupdate-alternatives--install/usr/bin/javajava/opt/jdk/jdk1.7.0_17/bin/java300sudoupdate-alternatives--install/us
3、r/bin/javacjavac/opt/jdk/jdk1.7.0_17/bin/javac3002.在終端輸入java–version/javac測(cè)試安裝JDK是否成功；3.每當(dāng)Ubuntu安裝成功時(shí)，我們的機(jī)器名都默認(rèn)為：Ubuntu，但為了以后集群中能夠容易分辨各臺(tái)服務(wù)器，需要給每臺(tái)機(jī)器取個(gè)不同的名字。機(jī)器名由/etc/hostname文件決定。輸入此命令，在打開的文件中修改機(jī)器名，我的機(jī)器名是Master；1.安裝SSH服務(wù)，實(shí)現(xiàn)無密碼登陸；sudoapt-getinstallsshopenssh-server安裝完成SSH后，可以查看SSH是否啟動(dòng)等；2
4、.安裝SSH服務(wù)完成后就需要配置無密碼登錄，具體如下圖所示：進(jìn)入安裝目錄：剛開始可能沒有authorized_keys和known_hosts文件，需要執(zhí)行該命令；將產(chǎn)生的公鑰加入到該文件中，可以打開看id_rsa.pub文件：有關(guān)ssh公鑰與密鑰的具體問題可以百度；執(zhí)行如下命令將authorized_keys文件分發(fā)給其他節(jié)點(diǎn)；注意每個(gè)節(jié)點(diǎn)都需要生成公鑰，然后將三個(gè)節(jié)點(diǎn)的公鑰合并在一個(gè)文件中，三個(gè)節(jié)點(diǎn)的authorized_keys必須一致。如下圖所示：注意文件的權(quán)限修改有可能導(dǎo)致ssh無密碼登錄配置失效，此處修改文件需要慎重；配置完成后就可實(shí)現(xiàn)無密碼登陸；如下
5、圖所示：1.安裝hadoop，安裝包拷貝到安裝目錄下；如下圖所示：將安裝包解壓到該目錄；執(zhí)行如下命令：2.安裝完成后，需要配置hadoop，具體操作如下所示：需要修改的文件都在/opt/hadoop/hadoop-0.20.2/conf/目錄下：3.修改hadoop-env.sh文件：加入JDK的路徑；1.修改core-site.xml:2.修改hdfs-site.xml:1.修改mapred-site.xml:2.配置masters文件：節(jié)點(diǎn)機(jī)上需要配置Slaves文件，與該文件類似；3.此時(shí)已完成hadoop配置；4.在虛擬機(jī)的Manager-àClone中克
6、隆新的節(jié)點(diǎn)，也可以不克隆，自己安裝，安裝完成需要將Master中的JDK、hadoop的文件拷貝過去。5.我采用的是分布式；一個(gè)電腦安裝了一個(gè)虛擬機(jī)做為Master，另外一個(gè)電腦安裝了虛擬機(jī)，在虛擬機(jī)上安裝的兩個(gè)Ubuntu，即該機(jī)器模擬了兩個(gè)節(jié)點(diǎn)，此實(shí)驗(yàn)需要三個(gè)節(jié)點(diǎn)。Master10.18.12.47Slave110.18.12.48Slave210.18.12.2541.虛擬機(jī)之間需要能ping通；此結(jié)果代表可以ping通；2.做完所有的準(zhǔn)備工作現(xiàn)在就可以啟動(dòng)hadoop集群，執(zhí)行命令如下：啟動(dòng)：3.查看集群是否啟動(dòng)；1.也可以用該命令查看：1.通過jsp頁面
7、查看：http://10.18.12.47:50030/jobtracker.jsphttp://10.18.12.47:50070/dfshealth.jsp2.至此關(guān)于集群搭建結(jié)束，
