資源描述：
《hadoop集群部署方案》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、Hadoop集群部署方案26目錄1.網(wǎng)絡(luò)拓?fù)?2.軟件安裝12.1.修改主機(jī)名12.2.修改host文件12.3.創(chuàng)建Hadoop用戶22.4.禁用防火墻22.5.設(shè)置ssh登錄免密碼22.6.安裝hadoop43.集群配置53.1.修改腳本53.1.1.hadoop-env.sh53.1.2.yarn-env.sh53.2.配置文件53.2.1.core-site.xml53.2.2.hdfs-site.xml73.2.3.mapred-site.xml93.2.4.yarn-site.xml103.2.5.配置datanode133.3.創(chuàng)建目錄134.啟動(dòng)zk集群145.
2、啟動(dòng)hadoop145.1.啟動(dòng)所有節(jié)點(diǎn)journalnode145.2.格式化h1namenode145.3.在h1上格式化ZK155.4.啟動(dòng)h1的namenode，zkfc16265.5.啟動(dòng)h2上namenode165.6.同步h1上的格式化數(shù)據(jù)到h2165.7.啟動(dòng)HDFS175.8.啟動(dòng)YARN185.9.啟動(dòng)h2ResourceManager185.10.h4上啟動(dòng)JobHistoryServer195.11.查看ResourceManager狀態(tài)196.瀏覽器訪問(wèn)196.1.namenode管理界面196.1.1.http://192.168.121.167:5
3、0070196.1.2.http://192.168.121.168:50070206.2.ResourceManager管理界面206.2.1.http://192.168.121.167:8088/216.2.2.http://192.168.121.168:8088/216.3.JournalNodeHTTP服務(wù)216.3.1.http://192.168.121.167:8480/216.4.DatanodeHTTP服務(wù)226.4.1.http://192.168.121.167:50075/226.5.jobhistory管理界面226.5.1.http://192.
4、168.121.170:19888/jobhistory227.測(cè)試237.1.上傳文件至hdfs237.2.驗(yàn)證hdfsHA237.3.驗(yàn)證yarn24261.網(wǎng)絡(luò)拓?fù)鋒1h2h3h4IP192.168.121.167192.168.121.168192.168.121.169192.168.121.170rolematsterslaverslaverslaverNamenode是（active）是（standby）否否Datanode是是是是ResourceManager是是否否NodeManager是是是是zkfc是是否否Journalnode是是是否JobHistory
5、否否否是2.軟件安裝2.1.修改主機(jī)名修改四臺(tái)機(jī)器的主機(jī)名，h1，h2，h3，h4查看是否修改成功uname-a?2.2.修改host文件修改三臺(tái)機(jī)器/etc/hosts文件配置hadoop節(jié)點(diǎn)26配置zk節(jié)點(diǎn)1.1.創(chuàng)建Hadoop用戶1)創(chuàng)建特定的Hadoop用戶帳號(hào)以區(qū)分Hadoop和本機(jī)上的其他服務(wù)。sudogroupaddhadoopuseraddhadooppasswdhadoopusermod-a-Ghadoophadoop2)給hadoop用戶添加權(quán)限，打開(kāi)/etc/sudoers文件：在rootALL=(ALL)ALL后面添加hadoopALL=(ALL)AL
6、L1.2.禁用防火墻chkconfigiptablesoff1.3.設(shè)置ssh登錄免密碼Hadoop控制腳本(并非守護(hù)進(jìn)程)依賴SSH來(lái)執(zhí)行針對(duì)整個(gè)集群的操作。例如，Namenode是通過(guò)SSH（SecureShell）來(lái)啟動(dòng)和停止各個(gè)datanode上的各種守護(hù)進(jìn)程的為了支持無(wú)縫式工作，SSH安裝好之后，需要允許hadoop用戶無(wú)需鍵入密碼26即可登陸集群內(nèi)的機(jī)器。最簡(jiǎn)單的方法是每個(gè)機(jī)器創(chuàng)建一個(gè)無(wú)密碼公鑰/私鑰對(duì)1)生成密鑰id_dsa.pub為公鑰，id_dsa為私鑰2)將公鑰文件復(fù)制成authorized_keys文件3)修改.ssh目錄的權(quán)限以及authorized_k
7、eys的權(quán)限sudochmod644~/.ssh/authorized_keyssudochmod700~/.ssh4)測(cè)試是否設(shè)置成功sshh15)對(duì)h2、h3、h4這幾個(gè)節(jié)點(diǎn)上的hadoop用戶也配置ssh，配置過(guò)程和上述在h1上一樣6)在h2、h3、h4這幾個(gè)節(jié)點(diǎn)上都執(zhí)行一次“cat~/.ssh/id_rsa.pub
8、sshhadoop@h1'cat>>~/.ssh/authorized_keys'”命令，將這幾個(gè)節(jié)點(diǎn)上的共鑰id_ras.pub拷貝到h1中的authorized_ke
