資源描述：
《ubuntu下的hadoop配置與運(yùn)行》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、上海電力學(xué)院計(jì)算機(jī)與信息工程學(xué)院撰寫人:周耀君QQ:648134235Hadoop部署、配置與運(yùn)行扉言:此文檔為自己部署過程中的記錄。配置后演示了單節(jié)點(diǎn)、單機(jī)偽分布和兩臺(tái)機(jī)器之間的分布運(yùn)行、并對(duì)偽分布和完全分布做了初步對(duì)比以增進(jìn)理解，最后演示了在eclipse下運(yùn)行hadoop自帶例子wordcount的步驟。=====================================================系統(tǒng)配置===================================================
2、==(一)資源需求?LinuxUbuntu9.10//最新版本可上官方網(wǎng)站免費(fèi)下載www.ubuntulinux.org//也可以向Ubuntu社區(qū)申請(qǐng)免費(fèi)安裝shipit.ubuntu.com?Hadoop0.20.0包//最新版本可在Apache提供的鏡像服務(wù)器下載//www.apache.orgdownload→→鏡像服務(wù)器→hadoop?Sun-java6-jdk包//在終端機(jī)里輸入:apt-getinstallsun-java6-jdk//系統(tǒng)會(huì)自動(dòng)下載包以及所有的依存包,同時(shí)進(jìn)行包的安裝?SSH包(為遠(yuǎn)程登錄會(huì)
3、話提供安全性協(xié)議)//在終端機(jī)里輸入:apt-getinstallssh?Eclipse包//官方下載最新版本:www.eclipse.org/downloads/(二)配置流程1.安裝ubuntu9.042.更新deb軟件包列表$sudoapt-getupdate3.安裝系統(tǒng)更新$sudoapt-getupgrade4.安裝JDK-1-上海電力學(xué)院計(jì)算機(jī)與信息工程學(xué)院撰寫人:周耀君QQ:648134235$sudoapt-getinstallsun-java6-jdk//默認(rèn)路徑在/usr/lib/jvm,安裝時(shí)需要TA
4、B鍵選擇OK5.設(shè)置java-6-sun為默認(rèn)的java程序$sudoupdate-alternatives--configjava//JDK唯一,不需選擇$sudoupdate-java-alternatives-sjava-6-sun6.設(shè)置CLASSPATH和JAVA_HOME系統(tǒng)環(huán)境變量$sudogedit/etc/environment添加以下兩行內(nèi)容:CLASSPATH=".:/usr/lib/jvm/java-6-sun/lib"JAVA_HOME="/usr/lib/jvm/java-6-sun"7.調(diào)整系
5、統(tǒng)虛擬機(jī)的優(yōu)先順序$sudogedit/etc/jvm在文件頂部添加一行/usr/lib/jvm/java-6-sun如果文件/etc/jvm不存在則自己新建8.多節(jié)點(diǎn)分布式環(huán)境下的兩個(gè)必要條件a、每個(gè)節(jié)點(diǎn)有相同的用戶名,如shiep205b、hadoop文件路徑相同,如/home/shiep205/hadoop9.下載hadoop-*.tar.gz至/home/shiep205/$cd~//選擇默認(rèn)路徑$sudotarxzfhadoop-0.20.0.tar.gz//解壓至當(dāng)前路徑$mvhadoop-0.20.0hado
6、op//重命名為hadoop$sudochown-Rshiep205:shiep205hadoop//賦予shiep205權(quán)限10.更新hadoop環(huán)境變量$gedithadoop/conf/hadoop-env.sh將#exportJAVA_HOME=/usr/lib/jvm/java-6-sun改為exportJAVA_HOME=/usr/lib/jvm/java-6-sun11.配置SSH$sudoapt-getinstallssh$sudoapt-getinstallrsync//遠(yuǎn)程同步,可能已經(jīng)安裝了最新版本$
7、ssh-keygen-tdsa-P''-f~/.ssh/id_dsa-2-上海電力學(xué)院計(jì)算機(jī)與信息工程學(xué)院撰寫人:周耀君QQ:648134235$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys$sshlocalhost//驗(yàn)證配置成功與否=====================================================單節(jié)點(diǎn)配置=====================================================在前面工作已經(jīng)做好的基礎(chǔ)上
8、,單節(jié)點(diǎn)的運(yùn)行,運(yùn)行在非分布模式,hadoop作為單個(gè)java進(jìn)程。運(yùn)行命令,查看hadoop的使用文檔Bin/hadoop以下例子復(fù)制壓縮的conf目錄作為輸入,查找并顯示正規(guī)式的匹配。輸出寫到output目錄$mkdirinput$cpconf/*.xmlinput$bin/hadoopjarhad
