hadoop集群部署詳細(xì)手冊(cè)

《hadoop集群部署詳細(xì)手冊(cè)》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、1、安裝虛擬機(jī)1.1、準(zhǔn)備軟件1、VMwareWorkstation12.zip虛擬機(jī)軟件2、CentOS-6.5-x86_64-bin-DVD1.iso64位操作系統(tǒng)1.2、安裝虛擬機(jī)軟件要想成功安裝，務(wù)必刪除掉已有的虛擬機(jī)軟件1.3、安裝操作系統(tǒng)l運(yùn)行虛擬機(jī)軟件，點(diǎn)擊軟件右上角的文件，選擇新建虛擬機(jī)，會(huì)彈出新建虛擬機(jī)向?qū)ы?yè)面l選擇典型安裝，然后點(diǎn)擊下一步l選擇客戶(hù)端操作系統(tǒng)，務(wù)必選擇“稍后安裝操作系統(tǒng)”，然后點(diǎn)擊下一步l選擇客戶(hù)端操作系統(tǒng)的類(lèi)型為linux、版本為CentOS64位，然后點(diǎn)擊下一

2、步l輸入虛擬機(jī)名稱(chēng)，并選擇虛擬機(jī)鏡像文件安裝的目錄，然后下一步l選擇磁盤(pán)大小，并選擇鏡像文件存儲(chǔ)的格式，然后點(diǎn)擊下一步l直接點(diǎn)擊完成l完成之后，虛擬機(jī)軟件的左側(cè)會(huì)出現(xiàn)你配置的虛擬機(jī)名稱(chēng)，點(diǎn)擊編輯虛擬機(jī)設(shè)置l根據(jù)自己的機(jī)器配置信息設(shè)置虛擬機(jī)內(nèi)存大小，一般建議給2G以上l重要操作：指定虛擬機(jī)啟動(dòng)時(shí)的鏡像文件l重要操作：指定虛擬機(jī)網(wǎng)絡(luò)類(lèi)型為NAT，如果已經(jīng)NAT就忽略此步驟l配置完成之后，點(diǎn)擊確定操作保存配置文件l啟動(dòng)虛擬機(jī)，選中你的虛擬機(jī)名稱(chēng)，在右側(cè)的窗口點(diǎn)擊開(kāi)啟此虛擬機(jī)l直接回車(chē)，安裝操作系統(tǒng)l使用鍵

3、盤(pán)上的Tab按鍵，選擇Skip，然后點(diǎn)擊回車(chē)l然后一路回車(chē)，進(jìn)入以下的頁(yè)面，并點(diǎn)擊Next操作l選擇語(yǔ)言l選擇鍵盤(pán)l選擇硬盤(pán)類(lèi)型l選擇yesdiscardanydata確定當(dāng)前配置l輸入hostname主機(jī)名稱(chēng)l選擇時(shí)區(qū)為上海l輸入操作系統(tǒng)的密碼為8個(gè)1l輸入密碼之后，點(diǎn)擊下一步，會(huì)提示密碼過(guò)于簡(jiǎn)單，是否使用，選擇使用l選擇替換已經(jīng)存在的系統(tǒng)l將以上配置信息寫(xiě)入到磁盤(pán)l選擇服務(wù)器類(lèi)型為BasicServerl服務(wù)器會(huì)自動(dòng)安裝，安裝完成之后點(diǎn)擊reboot按鈕即可1.4、配置linux的網(wǎng)卡?新安裝的

4、操作系統(tǒng)，既是使用了橋接的方式，也不一定能夠上網(wǎng)，因?yàn)槊總€(gè)人的網(wǎng)絡(luò)環(huán)境并非一樣的。所以如果你在使用ping命令，可能會(huì)碰到一下的錯(cuò)誤：??1）ping域名的時(shí)候出現(xiàn)ping:unknownhost?xxx.xxx??2）ping域名的時(shí)候出現(xiàn)connect:networkisunreachable的問(wèn)題??以上兩種問(wèn)題的出現(xiàn)，一般都是ip地址沒(méi)有配置好。下圖的是常用網(wǎng)卡配置的參數(shù)??配置網(wǎng)卡有幾種方式，可以自行百度下，本文是修改網(wǎng)卡的配置文件。??配置文件名稱(chēng)：vi/etc/sysconfig/ne

5、twork-scripts/ifcfg-eth0配置完畢之后，重啟網(wǎng)卡servicenetworkrestart???1.5、準(zhǔn)備三個(gè)虛擬機(jī)搭建Hadoop集群重復(fù)步驟1.3和1.4的操作，完成三個(gè)虛擬機(jī)的安裝。1.6、配置集群Hosts??所有的虛擬機(jī)上都需要配置hosts?????vi?/etc/hosts??????192.168.239.128?storm01?zk01?hadoop01??????192.168.239.129?storm02?zk02?hadoop02??????192.

6、168.239.130?storm03?zk03?hadoop03Scp/etc/hostshadoop02:/etc/Scp/etc/hostshadoop03:/etc/1.7、服務(wù)器間免密碼登錄[必選]Hadoop01上配置免密碼登陸，在所有機(jī)器上執(zhí)行以下命令??ssh-keygen?-t?rsa?（四個(gè)回車(chē)）????執(zhí)行完這個(gè)命令后，會(huì)生成兩個(gè)文件id_rsa（私鑰）、id_rsa.pub（公鑰）????將公鑰拷貝到要免密登陸的目標(biāo)機(jī)器上????ssh-copy-id?{其他機(jī)器的hostn

7、ame}?1.8、關(guān)閉服務(wù)器的防火墻（1）重啟后永久性生效：開(kāi)啟：chkconfigiptableson關(guān)閉：chkconfigiptablesoff（2）即時(shí)生效，重啟后失效：開(kāi)啟：serviceiptablesstart關(guān)閉：serviceiptablesstop1.9、創(chuàng)建服務(wù)器上的統(tǒng)一工作目錄mkdir/exportmkdir/export/serversmkdir/export/software/chmod755-R/export2、配置JDK2.1、查看當(dāng)前系統(tǒng)上是否安裝了JDK??進(jìn)入

8、一個(gè)新的系統(tǒng)，一般來(lái)講是沒(méi)有安裝過(guò)JDK的。但是有些linux的版本會(huì)默認(rèn)安裝openJDK。openJDK實(shí)在oracle公司開(kāi)源的代碼上進(jìn)行同步開(kāi)發(fā)并發(fā)布的版本。如果要查看當(dāng)前系統(tǒng)是否已經(jīng)安裝了JDK，可以使用命令：sudoupdate-alternatives--configjava?2.2、下載JDK???由于當(dāng)前系統(tǒng)中并沒(méi)有我們需要的oracleJDK，我們需要自己安裝一個(gè)。???先在oracle的網(wǎng)站上尋找JDK的下載地址，然后使用wget命令進(jìn)行下載?；?/p>