hadoop-ha-qjm+hbase部署手冊(cè)

hadoop-ha-qjm+hbase部署手冊(cè)

ID:39551269

大?。?6.00 KB

頁數(shù):7頁

時(shí)間:2019-07-06

hadoop-ha-qjm+hbase部署手冊(cè)_第1頁
hadoop-ha-qjm+hbase部署手冊(cè)_第2頁
hadoop-ha-qjm+hbase部署手冊(cè)_第3頁
hadoop-ha-qjm+hbase部署手冊(cè)_第4頁
hadoop-ha-qjm+hbase部署手冊(cè)_第5頁
資源描述:

《hadoop-ha-qjm+hbase部署手冊(cè)》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、1、該部署手冊(cè)僅適用了hadoop-2.0.3alpha版本,不適用于之前的版本。應(yīng)該適用于之后的版本,待驗(yàn)證。部署步驟如下:1.首先,關(guān)閉iptablesServiceiptablesstop并在chkconfig里面關(guān)閉掉A、命名nameservices及namenode主機(jī)名的端口等,目前只支持2個(gè)namenode的HA,該步驟的主要修改/hadoop-2.0.3-alpha/etc/hadoop/hdfs-site.xml文件,添加的內(nèi)容如下dfs.nameservicesmyclus

2、terdfs.ha.namenodes.myclusternn1,nn2dfs.namenode.rpc-address.mycluster.nn1activenode:8020dfs.namenode.rpc-address.mycluster.nn2stand

3、bynode:8020dfs.namenode.http-address.mycluster.nn1activenode:50070dfs.namenode.http-address.mycluster.nn2standbynode:50070B、設(shè)置QuorumJournalManager(QJM)toshareedit

4、logsbetweentheActiveandStandbyNameNodes。在hdfs-site.xml文件中的設(shè)置如下:dfs.namenode.shared.edits.dirqjournal://hadoopslave5:8485;hadoopslave6:8485;hadoopslave7:8485/myclusterdfs.journalnode.edits.dir/home/had

5、oop_space/data這里的dfs.namenode.shared.edits.dir指定namenode存儲(chǔ)共享日志的一個(gè)journalnode群。這里的hadoopslave567是任意一臺(tái)機(jī)器,并非是namenode。Dfs.journalnode.edits.dir是上面journalnode群中機(jī)器本地存儲(chǔ)的日志文件的地址。這里的journalnode應(yīng)該是奇數(shù)個(gè)。C、添加客戶端嘗試activeNamenode的實(shí)現(xiàn)類,在hdfs-site.xml中添加如下文件:

6、dfs.client.failover.proxy.provider.myclusterOrg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider指定客戶端用于HA切換的代理類,不同的NS可以用不同的代理類以上示例為Hadoop2.0自帶的缺省代理類D、設(shè)置防止腦裂的ssh及其私鑰文件,在hdfs-site.xml中添加如下文件,其中dfs.ha.

7、fencing.ssh.private-key-files文件是該主機(jī)設(shè)置ssh到其他機(jī)器時(shí)生成的私鑰文件,注意名稱不要寫錯(cuò)!有的是rsa的,示例中是dsa的,注意區(qū)分細(xì)節(jié)。dfs.ha.fencing.methodssshfencedfs.ha.fencing.ssh.private-key-files/root/.ssh/id_dsa<

8、name>dfs.ha.fencing.ssh.connect-timeout<

當(dāng)前文檔最多預(yù)覽五頁,下載文檔查看全文

此文檔下載收益歸作者所有

當(dāng)前文檔最多預(yù)覽五頁,下載文檔查看全文
溫馨提示:
1. 部分包含數(shù)學(xué)公式或PPT動(dòng)畫的文件,查看預(yù)覽時(shí)可能會(huì)顯示錯(cuò)亂或異常,文件下載后無此問題,請(qǐng)放心下載。
2. 本文檔由用戶上傳,版權(quán)歸屬用戶,天天文庫負(fù)責(zé)整理代發(fā)布。如果您對(duì)本文檔版權(quán)有爭議請(qǐng)及時(shí)聯(lián)系客服。
3. 下載前請(qǐng)仔細(xì)閱讀文檔內(nèi)容,確認(rèn)文檔內(nèi)容符合您的需求后進(jìn)行下載,若出現(xiàn)內(nèi)容與標(biāo)題不符可向本站投訴處理。
4. 下載文檔時(shí)可能由于網(wǎng)絡(luò)波動(dòng)等原因無法下載或下載錯(cuò)誤,付費(fèi)完成后未能成功下載的用戶請(qǐng)聯(lián)系客服處理。