hadoop-ha-qjm+hbase部署手冊

《hadoop-ha-qjm+hbase部署手冊》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。

1、1、該部署手冊僅適用了hadoop-2.0.3alpha版本，不適用于之前的版本。應該適用于之后的版本，待驗證。部署步驟如下：1.首先，關閉iptablesServiceiptablesstop并在chkconfig里面關閉掉A、命名nameservices及namenode主機名的端口等，目前只支持2個namenode的HA，該步驟的主要修改/hadoop-2.0.3-alpha/etc/hadoop/hdfs-site.xml文件，添加的內(nèi)容如下dfs.nameservicesmyclus

2、terdfs.ha.namenodes.myclusternn1,nn2dfs.namenode.rpc-address.mycluster.nn1activenode:8020dfs.namenode.rpc-address.mycluster.nn2stand

3、bynode:8020dfs.namenode.http-address.mycluster.nn1activenode:50070dfs.namenode.http-address.mycluster.nn2standbynode:50070B、設置QuorumJournalManager(QJM)toshareedit

4、logsbetweentheActiveandStandbyNameNodes。在hdfs-site.xml文件中的設置如下：dfs.namenode.shared.edits.dirqjournal://hadoopslave5:8485;hadoopslave6:8485;hadoopslave7:8485/myclusterdfs.journalnode.edits.dir/home/had

5、oop_space/data這里的dfs.namenode.shared.edits.dir指定namenode存儲共享日志的一個journalnode群。這里的hadoopslave567是任意一臺機器，并非是namenode。Dfs.journalnode.edits.dir是上面journalnode群中機器本地存儲的日志文件的地址。這里的journalnode應該是奇數(shù)個。C、添加客戶端嘗試activeNamenode的實現(xiàn)類，在hdfs-site.xml中添加如下文件：

6、dfs.client.failover.proxy.provider.myclusterOrg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider指定客戶端用于HA切換的代理類，不同的NS可以用不同的代理類以上示例為Hadoop2.0自帶的缺省代理類D、設置防止腦裂的ssh及其私鑰文件，在hdfs-site.xml中添加如下文件，其中dfs.ha.

7、fencing.ssh.private-key-files文件是該主機設置ssh到其他機器時生成的私鑰文件，注意名稱不要寫錯！有的是rsa的，示例中是dsa的，注意區(qū)分細節(jié)。dfs.ha.fencing.methodssshfencedfs.ha.fencing.ssh.private-key-files/root/.ssh/id_dsa<

8、name>dfs.ha.fencing.ssh.connect-timeout<