Hadoop集群(第5期)_Hadoop安裝配置

《Hadoop集群(第5期)_Hadoop安裝配置》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、1、集群部署介紹?1.1Hadoop簡介?　　Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開源分布式計(jì)算平臺(tái)。以Hadoop分布式文件系統(tǒng)（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的開源實(shí)現(xiàn)）為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。　　對于Hadoop的集群來講，可以分成兩大類角色：Master和Salve。一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成的。其中NameNode作為主服務(wù)器，管理文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作；集群中的DataNod

2、e管理存儲(chǔ)的數(shù)據(jù)。MapReduce框架是由一個(gè)單獨(dú)運(yùn)行在主節(jié)點(diǎn)上的JobTracker和運(yùn)行在每個(gè)集群從節(jié)點(diǎn)的TaskTracker共同組成的。主節(jié)點(diǎn)負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的從節(jié)點(diǎn)上。主節(jié)點(diǎn)監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前的失敗任務(wù)；從節(jié)點(diǎn)僅負(fù)責(zé)由主節(jié)點(diǎn)指派的任務(wù)。當(dāng)一個(gè)Job被提交時(shí)，JobTracker接收到提交作業(yè)和配置信息之后，就會(huì)將配置信息等分發(fā)給從節(jié)點(diǎn)，同時(shí)調(diào)度任務(wù)并監(jiān)控TaskTracker的執(zhí)行?！　纳厦娴慕榻B可以看出，HDFS和MapReduce共同組成了Hadoop分布式系統(tǒng)體系結(jié)構(gòu)的核心。HDFS在集群上實(shí)現(xiàn)分布式文件系統(tǒng)，MapR

3、educe在集群上實(shí)現(xiàn)了分布式計(jì)算和任務(wù)處理。HDFS在MapReduce任務(wù)處理過程中提供了文件操作和存儲(chǔ)等支持，MapReduce在HDFS的基礎(chǔ)上實(shí)現(xiàn)了任務(wù)的分發(fā)、跟蹤、執(zhí)行等工作，并收集結(jié)果，二者相互作用，完成了Hadoop分布式集群的主要任務(wù)。?1.2環(huán)境說明　　集群中包括4個(gè)節(jié)點(diǎn)：1個(gè)Master，3個(gè)Salve，節(jié)點(diǎn)之間局域網(wǎng)連接，可以相互ping通，具體集群信息可以查看"Hadoop集群（第2期）"。節(jié)點(diǎn)IP地址分布如下：?機(jī)器名稱IP地址Master.Hadoop192.168.1.2Salve1.Hadoop?192.168.1.3?Salve2.Hadoop?192.

4、168.1.4?Salve3.Hadoop?192.168.1.5??　　四個(gè)節(jié)點(diǎn)上均是CentOS6.0系統(tǒng)，并且有一個(gè)相同的用戶hadoop。Master機(jī)器主要配置NameNode和JobTracker的角色，負(fù)責(zé)總管分布式數(shù)據(jù)和分解任務(wù)的執(zhí)行；3個(gè)Salve機(jī)器配置DataNode和TaskTracker的角色，負(fù)責(zé)分布式數(shù)據(jù)存儲(chǔ)以及任務(wù)的執(zhí)行。其實(shí)應(yīng)該還應(yīng)該有1個(gè)Master機(jī)器，用來作為備用，以防止Master服務(wù)器宕機(jī)，還有一個(gè)備用馬上啟用。后續(xù)經(jīng)驗(yàn)積累一定階段后補(bǔ)上一臺(tái)備用Master機(jī)器。?1.3網(wǎng)絡(luò)配置　　Hadoop集群要按照1.2小節(jié)表格所示進(jìn)行配置，我們在"Had

5、oop集群（第1期）"的CentOS6.0安裝過程就按照提前規(guī)劃好的主機(jī)名進(jìn)行安裝和配置。如果實(shí)驗(yàn)室后來人在安裝系統(tǒng)時(shí)，沒有配置好，不要緊，沒有必要重新安裝，在安裝完系統(tǒng)之后仍然可以根據(jù)后來的規(guī)劃對機(jī)器的主機(jī)名進(jìn)行修改。　　下面的例子我們將以Master機(jī)器為例，即主機(jī)名為"Master.Hadoop"，IP為"192.168.1.2"進(jìn)行一些主機(jī)名配置的相關(guān)操作。其他的Slave機(jī)器以此為依據(jù)進(jìn)行修改。?　　1）查看當(dāng)前機(jī)器名稱　　用下面命令進(jìn)行顯示機(jī)器名稱，如果跟規(guī)劃的不一致，要按照下面進(jìn)行修改。?hostname????　　上圖中，用"hostname"查"Master"機(jī)器的名字為

6、"Master.Hadoop"，與我們預(yù)先規(guī)劃的一致。?　　2）修改當(dāng)前機(jī)器名稱　　假定我們發(fā)現(xiàn)我們的機(jī)器的主機(jī)名不是我們想要的，通過對"/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值，改成我們規(guī)劃的名稱。　　這個(gè)"/etc/sysconfig/network"文件是定義hostname和是否利用網(wǎng)絡(luò)的不接觸網(wǎng)絡(luò)設(shè)備的對系統(tǒng)全體定義的文件。　　設(shè)定形式：設(shè)定值=值　　"/etc/sysconfig/network"的設(shè)定項(xiàng)目如下：?NETWORKING是否利用網(wǎng)絡(luò)GATEWAY默認(rèn)網(wǎng)關(guān)IPGATEWAYDEV默認(rèn)網(wǎng)關(guān)的接口名HOSTNAME主機(jī)名DO

7、MAIN域名?　　用下面命令進(jìn)行修改當(dāng)前機(jī)器的主機(jī)名（備注：修改系統(tǒng)文件一般用root用戶）?vim/etc/sysconfig/network??　　通過上面的命令我們從"/etc/sysconfig/network"中找到"HOSTNAME"進(jìn)行修改，查看內(nèi)容如下：?????3）修改當(dāng)前機(jī)器IP???假定我們的機(jī)器連IP在當(dāng)時(shí)安裝機(jī)器時(shí)都沒有配置好，那此時(shí)我們需要對"ifcfg-eth0"文件進(jìn)行配置，該文件位于"/