資源描述：
《clouderamanager大數(shù)據(jù)平臺部署指南》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、部署指南ClouderaManagerCDH官方共給出了3中安裝方式。第一種方法必須要求所有機器都能連網(wǎng)，由于各種網(wǎng)絡(luò)超時錯誤，基本沒法用。第二種方法使用CM的在線yum源，在線下載很多包，同樣是超時嚴(yán)重。第三種方法是全離線方式，實際情況是也只能用這個。1、ClouderaManager的部署條件·CDH不支持在容器中部署。·支持OracleJDK7，目前可使用的最新版本為1.7u80，C5.3.x及以上版本也支持使用oracleJDK8，同一個CDH集群中的所有節(jié)點使用的JDK版本必須一致?！な褂肞ython2.4及以上，不支持Pytho
2、n3·僅支持IPv4，且IPv6必須要disabled·基于tar壓縮包的離線安裝方式，會在6.0.0中停止支持該方式?！ぶС謘elinux，但如果不熟悉使用方法，建議關(guān)閉?！す芾矶丝跒?180，此外還有很多基礎(chǔ)應(yīng)用使用的端口，可以運行iptables，需要確認(rèn)有恰當(dāng)?shù)氖跈?quán)控制，例如至少要對同網(wǎng)段的訪問放開全部端口。2、ClouderaManager部署的幾個階段和可選擇的方式注：因為ClouderaManager的官方y(tǒng)um源位于國外，受網(wǎng)速影響而無法正常使用。所以上述部署方式中，一般是使用PATHC，或者在預(yù)先下載好相關(guān)RPM包的條件下
3、參照PATHB方式。3、主機節(jié)點信息和基礎(chǔ)配置（1）主機信息本次部署使用以下主機，前兩個作為NameNode使用。后四個主機，分別額外掛載一塊1TB的磁盤到本地的/dfs/dn目錄下。注1：用于大數(shù)據(jù)平臺的數(shù)據(jù)磁盤不要配置RAID，直接祼盤即可。如果有RAID控制器，則直接對每塊盤設(shè)置一個單獨的RAID0，仍然當(dāng)作單盤使用。注2：在有第二塊數(shù)據(jù)盤的情況下，繼續(xù)掛載到/dfs/dn2，更多的數(shù)據(jù)盤則按命名規(guī)則和掛盤規(guī)則擴展即可。注3：對于生產(chǎn)環(huán)境而言，NameNode所在的節(jié)點一般不要同時做數(shù)據(jù)節(jié)點使用。而且NameNode所在主機的磁盤需要
4、配置適當(dāng)?shù)腞AID保護級別，以提高可靠性。注4：對于DataNode所在的主機節(jié)點，建議系統(tǒng)盤和數(shù)據(jù)盤完全隔離開，然后系統(tǒng)盤使用兩磁盤配置為RAID1以提高可靠性。雖然數(shù)據(jù)節(jié)點是冗余的，掛一個也不影響CDH平臺運行，但修起來還是很麻煩啊。172.17.10.70??cluster-70172.17.10.71??cluster-71172.17.10.72??cluster-72172.17.10.73??cluster-73172.17.10.74??cluster-74172.17.10.75??cluster-75操作系統(tǒng)全部使用Ce
5、ntOS6.9Minimal安裝。將全部主機的主機名設(shè)置好，并將以上映射關(guān)系寫到每個主機的/etc/hosts文件中。（2）免密登錄在cluster-70節(jié)點上制作ssh密鑰：ssh-keygen將該密鑰分發(fā)至其它各節(jié)點，以實現(xiàn)免密鑰登錄，如：ssh-copy-id?cluster-71（3）selinux和iptables所有節(jié)點配置為關(guān)閉selinux。所有節(jié)點的iptables設(shè)置為對同網(wǎng)段地址放開全部端口的訪問權(quán)限。（4）系統(tǒng)性能參數(shù)調(diào)整中即可。cat<>/etc/sysctl.confvm.swappiness=0net
6、.ipv6.conf.all.disable_ipv6=1net.ipv6.conf.default.disable_ipv6=1net.ipv4.ip_local_port_range=102465000EOFsysctl-pechonever>/sys/kernel/mm/transparent_hugepage/defragechonever>/sys/kernel/mm/transparent_hugepage/enabledcat<>/etc/rc.localechonever>/sys/kernel/mm/transp
7、arent_hugepage/defragechonever>/sys/kernel/mm/transparent_hugepage/enabledEOF4、安裝JDK下載并分發(fā)OracleJDK安裝包至所有節(jié)點，執(zhí)行安裝和配置命令。rpm-ivhjdk-7u80-linux-x64.rpm直接刷下面腳本完成配置：cat<>/etc/profileJAVA_HOME=/usr/java/jdk1.7.0_80PATH=$JAVA_HOME/bin:$PATH:.CLASSPATH=.:$JAVA_HOME/lib/dt.jar
8、:$JAVA_HOME/lib/tools.jarexportJAVA_HOMEexportPATHexportCLASSPATHEOFsource/etc/profile以上J
