educoder平臺hadoop開發(fā)環(huán)境搭建.doc

《educoder平臺hadoop開發(fā)環(huán)境搭建.doc》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、《一》配置開發(fā)環(huán)境-JavaJDK的配置mkdir/app回車cd/opt回車ll回車tar-zxvfjdk-8u171-linux-x64.tar.gz回車mvjdk1.8.0_171//app回車vim/etc/profile在最低下按i復(fù)制粘貼下面代碼JAVA_HOME=/app/jdk1.8.0_171CLASSPATH=.:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexportJAVA_HOMECLASSPATHPATH退出wqsource/etc/profile回

2、車java-version測評*******************************************************************************《二》配置開發(fā)環(huán)境-Hadoop安裝與偽分布式集群搭建cd/opt回車ls回車echo$JAVA_HOME回車ls/app回車ls回車mkdir/app回車cp*/app回車cd/app回車ls回車tar-zxvfhadoop-3.1.0.tar.gz回車lstar-zxvfjdk-8u171-linux-x64.tar.gz回車ls回車mvha

3、doop-3.1.0hadoop3.1回車cdjdk1.8.0_171/回車pwd回車vim/etc/profile最底下按i復(fù)制exportJAVA_HOME=/app/jdk1.8.0_171exportHADOOP_HOME=/app/hadoop3.1exportPATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH退出wqsource/etc/profile回車java-version回車cd/app回車ssh-keygen-trsa-P''按回車ca

4、t~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys回車chmod600~/.ssh/authorized_keys回車vim/etc/ssh/sshd_config找到#AuthorizedKeysFile%h/.ssh/authorized_keys把#刪除退出wqcd/app/hadoop3.1/etc/hadoop/回車vimhadoop-env.sh找到#JAVA_HOME=/usr/java/testinghdfsdfs-ls這一行按i在最后面回車，添加下面代碼：exportJAVA_H

5、OME=/app/jdk1.8.0_171退出wqvimyarn-env.sh最底下按i回車exportJAVA_HOME=/app/jdk1.8.0_171退出wq————————1————————————————————————————————vimcore-site.xml找到然后按i在中間回車fs.default.namehdfs://localhost:9000

6、>HDFS的URI，文件系統(tǒng)://namenode標(biāo)識:端口號hadoop.tmp.dir/usr/hadoop/tmpnamenode上本地的hadoop臨時文件夾然后:wq—————————2——————————————————————————————vimhdfs-site.xml找到

7、iguration>然后按i在中間回車dfs.name.dir/usr/hadoop/hdfs/namenamenode上存儲hdfs名字空間元數(shù)據(jù)dfs.data.dir/usr/hadoop/hdfs/datadatanode上數(shù)據(jù)塊的物理存儲位置<

8、/property>dfs.replication1然后:wq——————————3————————————————————————————vimma