資源描述：
《hadoop+hbase安裝手冊》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在行業(yè)資料-天天文庫。
1、Hadoop+HBase安裝手冊1環(huán)境準備1.1準備安裝介質(zhì)Hadoop官網(wǎng)下載地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/Hive官網(wǎng)下載地址：http://www.apache.org/dyn/closer.cgi/hive/HBase官網(wǎng)下載地址：http://www.apache.org/dyn/closer.cgi/hbase/1.2卸載open-java查看系統(tǒng)自帶的已經(jīng)安裝的java$rpm-qa
2、grepjavajava-1.4.2-gcj-compat-1.4.2.0-40jpp.115j
3、ava-1.6.0-openjdk-1.6.0.0-1.7.b09.el5卸載自帶java$rpm-e--nodepsjava-1.4.2-gcj-compat-1.4.2.0-40jpp.115$rpm-e--nodepsjava-1.6.0-openjdk-1.6.0.0-1.7.b09.el51.3安裝Sun-jdk$cd/usrunzipSun-JDK$vim/etc/profileexportJAVA_HOME=/usr/jdk1.6exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/binexportCLASSPAT
4、H=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH$source/etc/profile1.1編輯hosts文件將集群中所有服務器的hostname添加到hosts文件中$vi/etc/hosts1.2關閉selinux安全驗證和iptables1.2.1關閉selinux安全驗證$vi/etc/sysconfig/selinux修改SELINUX變量為disabledSELINUX=disabled使設置生效，不用重啟機器$setenforce01.2.2關閉iptables停止服務$serviceiptablesstop
5、關閉開機啟動$chkconfigiptablesoff1.3創(chuàng)建新用戶1.3.1創(chuàng)建用戶修改密碼$useraddhd$passwdhd1.3.2集群間設置ssh無密碼訪問$mkdir~/.ssh$chmod700~/.ssh/在集群中所有服務器上生成密鑰文件$cd~/.ssh$ssh-keygen-tdsa$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys$chmod600~/.ssh/authorized_keys合并所有的authorized_keys文件，并同步到所有服務器節(jié)點上。1安裝Hadoop1.1解壓Hadoopta
6、r包$tar-xzfhadoop-1.1.0.tar.gz1.2設置Hadoop環(huán)境變量$vi/etc/profile增加以下環(huán)境變量exportHADOOP_HOME=/home/hd/hadoop/hadoop-1.1.0exportPATH=$PATH:$HADOOP_HOME/bin生效修改$source/etc/profile1.1修改Hadoop的配置文件1.1.1配置conf/core-site.xml文件a)fs.default.name是NameNode的URI。hdfs://主機名:端口/b)hadoop.tmp.dir：Hadoop的默認臨時路徑，
7、這個最好配置，如果在新增節(jié)點或者其他情況下莫名其妙的DataNode啟動不了，就刪除此文件中的tmp目錄即可。不過如果刪除了NameNode機器的此目錄，那么就需要重新執(zhí)行NameNode格式化的命令。1.1.2配置conf/mapred-site.xml文件1.1.1配置conf/hdfs-site.xml文件a)dfs.name.dir是NameNode持久存儲名字空間及事務日志的本地文件系統(tǒng)路徑。當這個值是一個逗號分割的目錄列表時，nametable數(shù)據(jù)將會被復制到所有目錄中做冗余備份。b)dfs.data.dir是DataNode存放塊數(shù)據(jù)的本地文件系統(tǒng)路徑，逗
8、號分割的列表。當這個值是逗號分割的目錄列表時，數(shù)據(jù)將被存儲在所有目錄下，不用于Namenode的冗余機制，Datanode將輪詢地存儲數(shù)據(jù)，所以講Datanode的不同路徑分布在不同的物理硬盤上將提升性能。c)dfs.replication是數(shù)據(jù)需要備份的數(shù)量，默認是3，如果此數(shù)大于集群的機器數(shù)會出錯。d)name1、name2、data1、data2目錄不能預先創(chuàng)建，hadoop格式化時會自動創(chuàng)建。1.1.2配置conf/hadoop-env.sh文件增加JAVA_HOME環(huán)境變量1.1.3配置masters文件配置SecondaryN
