資源描述：
《linux下的hadoop配置》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、上海電力學(xué)院計(jì)算機(jī)與信息工程學(xué)院撰寫人:周耀君QQ:648134235Hadoop部署、配置與運(yùn)行扉言:此文檔為自己部署過程中的記錄。配置后演示了單節(jié)點(diǎn)、單機(jī)偽分布和兩臺機(jī)器之間的分布運(yùn)行、并對偽分布和完全分布做了初步對比以增進(jìn)理解，最后演示了在eclipse下運(yùn)行hadoop自帶例子wordcount的步驟。=====================================================系統(tǒng)配置===========================================
2、==========(一)資源需求?LinuxUbuntu9.10//最新版本可上官方網(wǎng)站免費(fèi)下載www.ubuntulinux.org//也可以向Ubuntu社區(qū)申請免費(fèi)安裝shipit.ubuntu.com?Hadoop0.20.0包//最新版本可在Apache提供的鏡像服務(wù)器下載//www.apache.orgdownload→→鏡像服務(wù)器→hadoop?Sun-java6-jdk包//在終端機(jī)里輸入:apt-getinstallsun-java6-jdk//系統(tǒng)會自動下載包以及所有的依存包,同時進(jìn)行
3、包的安裝?SSH包(為遠(yuǎn)程登錄會話提供安全性協(xié)議)//在終端機(jī)里輸入:apt-getinstallssh?Eclipse包//官方下載最新版本:www.eclipse.org/downloads/(二)配置流程1.安裝ubuntu9.042.更新deb軟件包列表$sudoapt-getupdate3.安裝系統(tǒng)更新$sudoapt-getupgrade4.安裝JDK-1-上海電力學(xué)院計(jì)算機(jī)與信息工程學(xué)院撰寫人:周耀君QQ:648134235$sudoapt-getinstallsun-java6-jdk//默
4、認(rèn)路徑在/usr/lib/jvm,安裝時需要TAB鍵選擇OK5.設(shè)置java-6-sun為默認(rèn)的java程序$sudoupdate-alternatives--configjava//JDK唯一,不需選擇$sudoupdate-java-alternatives-sjava-6-sun6.設(shè)置CLASSPATH和JAVA_HOME系統(tǒng)環(huán)境變量$sudogedit/etc/environment添加以下兩行內(nèi)容:CLASSPATH=".:/usr/lib/jvm/java-6-sun/lib"JAVA_HOM
5、E="/usr/lib/jvm/java-6-sun"7.調(diào)整系統(tǒng)虛擬機(jī)的優(yōu)先順序$sudogedit/etc/jvm在文件頂部添加一行/usr/lib/jvm/java-6-sun如果文件/etc/jvm不存在則自己新建8.多節(jié)點(diǎn)分布式環(huán)境下的兩個必要條件a、每個節(jié)點(diǎn)有相同的用戶名,如shiep205b、hadoop文件路徑相同,如/home/shiep205/hadoop9.下載hadoop-*.tar.gz至/home/shiep205/$cd~//選擇默認(rèn)路徑$sudotarxzfhadoop-0.
6、20.0.tar.gz//解壓至當(dāng)前路徑$mvhadoop-0.20.0hadoop//重命名為hadoop$sudochown-Rshiep205:shiep205hadoop//賦予shiep205權(quán)限10.更新hadoop環(huán)境變量$gedithadoop/conf/hadoop-env.sh將#exportJAVA_HOME=/usr/lib/jvm/java-6-sun改為exportJAVA_HOME=/usr/lib/jvm/java-6-sun11.配置SSH$sudoapt-getinsta
7、llssh$sudoapt-getinstallrsync//遠(yuǎn)程同步,可能已經(jīng)安裝了最新版本$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa-2-上海電力學(xué)院計(jì)算機(jī)與信息工程學(xué)院撰寫人:周耀君QQ:648134235$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys$sshlocalhost//驗(yàn)證配置成功與否=====================================================單節(jié)點(diǎn)配置==========
8、===========================================在前面工作已經(jīng)做好的基礎(chǔ)上,單節(jié)點(diǎn)的運(yùn)行,運(yùn)行在非分布模式,hadoop作為單個java進(jìn)程。運(yùn)行命令,查看hadoop的使用文檔Bin/hadoop以下例子復(fù)制壓縮的conf目錄作為輸入,查找并顯示正規(guī)式的匹配。輸出寫到output目錄$mkdirinput$cpconf/*.xmlinput$bin/hadoopjarhad
