資源描述:
《Hadoop集群(第5期)_Hadoop安裝配置》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、1、集群部署介紹?1.1Hadoop簡介? Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開源分布式計(jì)算平臺(tái)。以Hadoop分布式文件系統(tǒng)(HDFS,HadoopDistributedFilesystem)和MapReduce(GoogleMapReduce的開源實(shí)現(xiàn))為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。 對于Hadoop的集群來講,可以分成兩大類角色:Master和Salve。一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成的。其中NameNode作為主服務(wù)器,管理文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作;集群中的DataNod
2、e管理存儲(chǔ)的數(shù)據(jù)。MapReduce框架是由一個(gè)單獨(dú)運(yùn)行在主節(jié)點(diǎn)上的JobTracker和運(yùn)行在每個(gè)集群從節(jié)點(diǎn)的TaskTracker共同組成的。主節(jié)點(diǎn)負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù),這些任務(wù)分布在不同的從節(jié)點(diǎn)上。主節(jié)點(diǎn)監(jiān)控它們的執(zhí)行情況,并且重新執(zhí)行之前的失敗任務(wù);從節(jié)點(diǎn)僅負(fù)責(zé)由主節(jié)點(diǎn)指派的任務(wù)。當(dāng)一個(gè)Job被提交時(shí),JobTracker接收到提交作業(yè)和配置信息之后,就會(huì)將配置信息等分發(fā)給從節(jié)點(diǎn),同時(shí)調(diào)度任務(wù)并監(jiān)控TaskTracker的執(zhí)行?! 纳厦娴慕榻B可以看出,HDFS和MapReduce共同組成了Hadoop分布式系統(tǒng)體系結(jié)構(gòu)的核心。HDFS在集群上實(shí)現(xiàn)分布式文件系統(tǒng),MapR
3、educe在集群上實(shí)現(xiàn)了分布式計(jì)算和任務(wù)處理。HDFS在MapReduce任務(wù)處理過程中提供了文件操作和存儲(chǔ)等支持,MapReduce在HDFS的基礎(chǔ)上實(shí)現(xiàn)了任務(wù)的分發(fā)、跟蹤、執(zhí)行等工作,并收集結(jié)果,二者相互作用,完成了Hadoop分布式集群的主要任務(wù)。?1.2環(huán)境說明 集群中包括4個(gè)節(jié)點(diǎn):1個(gè)Master,3個(gè)Salve,節(jié)點(diǎn)之間局域網(wǎng)連接,可以相互ping通,具體集群信息可以查看"Hadoop集群(第2期)"。節(jié)點(diǎn)IP地址分布如下:?機(jī)器名稱IP地址Master.Hadoop192.168.1.2Salve1.Hadoop?192.168.1.3?Salve2.Hadoop?192.
4、168.1.4?Salve3.Hadoop?192.168.1.5?? 四個(gè)節(jié)點(diǎn)上均是CentOS6.0系統(tǒng),并且有一個(gè)相同的用戶hadoop。Master機(jī)器主要配置NameNode和JobTracker的角色,負(fù)責(zé)總管分布式數(shù)據(jù)和分解任務(wù)的執(zhí)行;3個(gè)Salve機(jī)器配置DataNode和TaskTracker的角色,負(fù)責(zé)分布式數(shù)據(jù)存儲(chǔ)以及任務(wù)的執(zhí)行。其實(shí)應(yīng)該還應(yīng)該有1個(gè)Master機(jī)器,用來作為備用,以防止Master服務(wù)器宕機(jī),還有一個(gè)備用馬上啟用。后續(xù)經(jīng)驗(yàn)積累一定階段后補(bǔ)上一臺(tái)備用Master機(jī)器。?1.3網(wǎng)絡(luò)配置 Hadoop集群要按照1.2小節(jié)表格所示進(jìn)行配置,我們在"Had
5、oop集群(第1期)"的CentOS6.0安裝過程就按照提前規(guī)劃好的主機(jī)名進(jìn)行安裝和配置。如果實(shí)驗(yàn)室后來人在安裝系統(tǒng)時(shí),沒有配置好,不要緊,沒有必要重新安裝,在安裝完系統(tǒng)之后仍然可以根據(jù)后來的規(guī)劃對機(jī)器的主機(jī)名進(jìn)行修改。 下面的例子我們將以Master機(jī)器為例,即主機(jī)名為"Master.Hadoop",IP為"192.168.1.2"進(jìn)行一些主機(jī)名配置的相關(guān)操作。其他的Slave機(jī)器以此為依據(jù)進(jìn)行修改。? 1)查看當(dāng)前機(jī)器名稱 用下面命令進(jìn)行顯示機(jī)器名稱,如果跟規(guī)劃的不一致,要按照下面進(jìn)行修改。?hostname???? 上圖中,用"hostname"查"Master"機(jī)器的名字為
6、"Master.Hadoop",與我們預(yù)先規(guī)劃的一致。? 2)修改當(dāng)前機(jī)器名稱 假定我們發(fā)現(xiàn)我們的機(jī)器的主機(jī)名不是我們想要的,通過對"/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值,改成我們規(guī)劃的名稱。 這個(gè)"/etc/sysconfig/network"文件是定義hostname和是否利用網(wǎng)絡(luò)的不接觸網(wǎng)絡(luò)設(shè)備的對系統(tǒng)全體定義的文件。 設(shè)定形式:設(shè)定值=值 "/etc/sysconfig/network"的設(shè)定項(xiàng)目如下:?NETWORKING是否利用網(wǎng)絡(luò)GATEWAY默認(rèn)網(wǎng)關(guān)IPGATEWAYDEV默認(rèn)網(wǎng)關(guān)的接口名HOSTNAME主機(jī)名DO
7、MAIN域名? 用下面命令進(jìn)行修改當(dāng)前機(jī)器的主機(jī)名(備注:修改系統(tǒng)文件一般用root用戶)?vim/etc/sysconfig/network?? 通過上面的命令我們從"/etc/sysconfig/network"中找到"HOSTNAME"進(jìn)行修改,查看內(nèi)容如下:?????3)修改當(dāng)前機(jī)器IP???假定我們的機(jī)器連IP在當(dāng)時(shí)安裝機(jī)器時(shí)都沒有配置好,那此時(shí)我們需要對"ifcfg-eth0"文件進(jìn)行配置,該文件位于"/