資源描述：
《Hadoop安裝環(huán)境及部署》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、Hadoop安裝環(huán)境及部署環(huán)境主機(jī)環(huán)境fedora10+vmware-server2.0.1虛擬環(huán)境為centos5.3，先架設(shè)一臺(tái)centos5.3的hadoop的環(huán)境在最后把系統(tǒng)復(fù)制2份。對(duì)于Hadoop來說，在HDFS看來，節(jié)點(diǎn)分為Namenode和Datanode，其中Namenode只有一個(gè)，Datanode可以是很多；在MapReduce看來，節(jié)點(diǎn)又分為Jobtracker和Tasktracker，其中Jobtracker只有一個(gè)，Tasktracker可以是很多。 我是將namenode和jobtracker部署在hadoop0上，hadoop
2、1,hadoop2作為datanode和tasktracker。當(dāng)然你也可以將namenode，datanode，jobtracker，tasktracker全部部署在一臺(tái)機(jī)器上目錄結(jié)構(gòu) 由于Hadoop要求所有機(jī)器上hadoop的部署目錄結(jié)構(gòu)要相同，并且都有一個(gè)相同的用戶名的帳戶。*--*新建一個(gè)用戶hadoop以后架設(shè)hadoop全在hadoop用戶主目錄下#useraddhadoop#passwdhadoop安裝基本環(huán)境*--*我們需要確保每臺(tái)機(jī)器的主機(jī)名和IP地址之間能正確解析,檢測(cè)方法為ping主機(jī)名ping通了就說明配置正常所以我們要修改/etc
3、/hosts文件#vi/etc/hosts127.0.0.1localhost.localdomainlocalhost192.168.1.230hadoop0.hadoophadoop0192.168.1.231hadoop1.hadoophadoop1192.168.1.232hadoop2.hadoophadoop2*--*我們還需要檢查機(jī)器是否安裝了ssh和rsync#rpm-qa
4、grepsshopenssh-4.3p2-29.el5openssh-clients-4.3p2-29.el5openssh-server-4.3p2-29.el5#rpm
5、-qa
6、greprsyncrsync-2.6.8-3.1沒有安裝的話運(yùn)行#yuminstallopenssh*rsync確保openssh是開機(jī)啟動(dòng)的檢查是否開啟#chkconfig--list
7、grepsshdsshd0:off1:off2:on3:on4:on5:on6:off開啟ssh#chkconfigsshdon*--*安裝sunjdk-1.6.0_13安裝jdk#chmodu+xjdk-6u13-linux-i586-rpm.bin;./jdk-6u13-linux-i586-rpm.bin配置java環(huán)境$vi/home/hadoop/.bash
8、rc在.bashrc文件中加入：exportJAVA_HOME=/usr/java/defaultexportCLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin注：以上操作要在三太機(jī)器上都要做的*--*SSH設(shè)置（這個(gè)配置可能在我的環(huán)境和真實(shí)的環(huán)境下有點(diǎn)不同我會(huì)分來講下，先真實(shí)的三臺(tái)機(jī)器的環(huán)境，我現(xiàn)在的環(huán)境比較容易配置）在Hadoop啟動(dòng)以后，Namenode是通過SSH（Secure
9、Shell）來啟動(dòng)和停止各個(gè)節(jié)點(diǎn)上的各種守護(hù)進(jìn)程的，這就需要在節(jié)點(diǎn)之間執(zhí)行指令的時(shí)候是不需要輸入密碼的方式，故我們需要配置SSH使用無密碼公鑰認(rèn)證的方式。現(xiàn)在hadoop0是主節(jié)點(diǎn)，它需要主動(dòng)發(fā)起SSH連接到hadoop1和hadoop2，對(duì)于SSH服務(wù)來說，hadoop0就是SSH客戶端，而hadoop1、hadoop2則是SSH服務(wù)端，因此在hadoop1，hadoop2上需要確定sshd服務(wù)已經(jīng)啟動(dòng)。簡(jiǎn)單的說，在hadoop0上需要生成一個(gè)密鑰對(duì)，即一個(gè)私鑰，一個(gè)公鑰。將公鑰拷貝到hadoop1，hadoop2上，這樣，比如當(dāng)hadoop0向hadoop
10、1發(fā)起ssh連接的時(shí)候，hadoop1上就會(huì)生成一個(gè)隨機(jī)數(shù)并用hadoop0的公鑰對(duì)這個(gè)隨機(jī)數(shù)進(jìn)行加密，并發(fā)送給hadoop0；hadoop0收到這個(gè)加密的數(shù)以后用私鑰進(jìn)行解密，并將解密后的數(shù)發(fā)送回hadoop1，hadoop1確認(rèn)解密的數(shù)無誤后就允許hadoop0進(jìn)行連接了。這就完成了一次公鑰認(rèn)證過程?！ ?duì)于本文中的三臺(tái)機(jī)器，首先在hadoop0上生成密鑰對(duì)：$ssh-keygen -t rsa這個(gè)命令將為hadoop0上的用戶hadoop生成其密鑰對(duì)，詢問其保存路徑時(shí)直接回車采用默認(rèn)路徑，當(dāng)提示要為生成的密鑰輸入passphrase的時(shí)候，直接回車，也就
11、是將其設(shè)定為空密碼。生成的密鑰對(duì)id_
