資源描述：
《Windows環(huán)境下Hadoop開(kāi)發(fā)環(huán)境配置》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、Windows環(huán)境下Hadoop開(kāi)發(fā)環(huán)境配置一、事先準(zhǔn)備1)Hadoop集群環(huán)境搭建已經(jīng)用三臺(tái)虛擬機(jī)(操作系統(tǒng)為ubuntu10.0.4)搭建完成一個(gè)hadoop分布式集群，分別是hadoop1:192.168.201.104，hadoop2:192.168.201.54和hadoop3:192.168.201.100，其中hadoop1為namenode，其余為datanode。2)windows安裝JDK和eclipse過(guò)程從略，需要注意應(yīng)安裝與hadoop集群所用JDK兼容的版本。本例中，hadoop集群安裝的是64位的JDK-8.0.20，因此Windows下選擇64位的J
2、DK-8.0.65，eclipse版本為支持64位的KeplerServiceRelease2。3)hadoop安裝包解壓將搭建hadoop集群的安裝包拷貝并解壓到windows開(kāi)發(fā)機(jī)器的某個(gè)目錄下，本例中的安裝包為hadoop-2.6.1.tar.gz，解壓到D:hadoop-2.6.1目錄。4)hadoopforeclipse插件包下載下載hadoopforeclipse插件。由于本例中hadoop集群為hadoop2，插件也必須是2.x版本。本例中插件包為：hadoop-eclipse-plugin-2.2.0。二、配置eclipse1)拷貝插件包將插件包拷貝至eclips
3、e安裝目錄的plugin目錄下，然后重啟eclipse。2)配置hadoop安裝路徑打開(kāi)"Window"--"Prefrences"，此時(shí)左側(cè)會(huì)出現(xiàn)"HadoopMap/Reduce"選項(xiàng)，將其配置為hadoop安裝包解壓后的目錄。3)配置Map/ReduceLocations打開(kāi)"Window"--"Perspectives"--"OpenPerspective"--"Other..."，在彈出窗口中選擇"Map/Reduce"，點(diǎn)擊"OK"。此時(shí)在下部中間的框內(nèi)會(huì)有個(gè)"Map/ReduceLocations"的圖標(biāo)，點(diǎn)擊上部右側(cè)的小象圖標(biāo)，進(jìn)入Map/ReduceLocatio
4、ns配置窗口：其中的Locationname可以填寫(xiě)任意名稱，而Map/Reduce(V2)Master的Host、Port與hadoop集群的mapred-site.xml配置文件中的mapred.job.tracker一致，而DFSMaster的Host、Port與hadoop集群的core-site.xml配置文件中的fs.defaultFS（或fs.default.name）一致。點(diǎn)擊"Finish"按鈕，關(guān)閉窗口。此時(shí)如果左側(cè)"ProjectExplorer"框中的"DFSLocations"下出現(xiàn)剛才填寫(xiě)的Locationname且其下沒(méi)有出現(xiàn)"Error..."，表示
5、配置成功。一、工程配置1)設(shè)置環(huán)境變量在windows桌面，右鍵擊"我的電腦"，再依次"屬性"--"高級(jí)系統(tǒng)設(shè)置"--"環(huán)境變量"，增加新的環(huán)境變量HADOOP-HOME，其值與步驟2.2一致。設(shè)置完成后，重啟eclipse。如果忽略此步驟，將來(lái)會(huì)報(bào)“Failedtodetectavalidhadoophomedirectory”錯(cuò)誤。2)拷貝winutils.exe和hadoop.dll在網(wǎng)上下載winutils.exe和hadoop.dll，將前者拷貝到hadoop安裝目錄的bin子目錄，將后者拷貝至C:WindowsSystem32目錄下。注意32位和64位的區(qū)別。如果忽
6、略winutils.exe，將來(lái)會(huì)報(bào)“Couldnotlocateexecutablenullbinwinutils.exeintheHadoopbinaries”的錯(cuò)誤；忽略hadoop.dll，將來(lái)會(huì)報(bào)“java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0……”的錯(cuò)誤。1)新建Hadoop工程打開(kāi)"File"--"New"--"Project"，選擇"Map/ReduceProject"，輸入工程名。如果是第一次新建"Map/ReduceProject"，需
7、要點(diǎn)擊"UseDefaultHadoop"--"ConfigureHadoopInstalldirectory"（與步驟2.2一致）或干脆"SpecifyHadooplibrarylocation"。然后一步步"Next"，直至"Finish"。2)導(dǎo)入lib包一般情況下不需要手工執(zhí)行，創(chuàng)建工程后各jar包已自動(dòng)加至buildpath。如果需要手工添加，相應(yīng)jar包有：D:/hadoop-2.6.1/share/hadoop/common下所有jar包，及里面的lib
