資源描述：
《spark安裝部署》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。
1、一、安裝spark依賴的內(nèi)容1.JDK??spark是由Scala語言編寫的，但是運行的環(huán)境是jvm，所以需要安裝JDK??編譯過程：Python、java、Scala編寫的代碼->scala編譯器編譯解釋，生成class文件->由jvm負責執(zhí)行class文件（與java代碼執(zhí)行一致）2.scala??由于?spark是由Scala語言編寫的，所以依賴Scala環(huán)境，且由Scala編寫的執(zhí)行代碼也需要環(huán)境進行編譯3.配置SSH免密碼登錄??集群節(jié)點無密碼訪問，與安裝Hadoop時一致4.安裝Hadoop??h
2、dfs是作為spark的持久層，所以需要安裝Hadoop，同時如果需要配置sparkonyarn，則Hadoop需要安裝yarn版本的5.安裝spark??安裝spark，執(zhí)行spark代碼二、JDK安裝1.下載地址??用戶可以在官網(wǎng)下載相應版本的JDK，本例使用JDK1.6,下載地址為：?http://www.oracle.com/technetwork/java/javase/archive-139210.html??developmentkit的bin包2.下載后，在相應的目錄下執(zhí)行bin文件(假設JD
3、K目錄是?jdkpath)??./?jdk-6u45-linux-i586.bin3.配置環(huán)境變量，修改/etc/profile文件增加以下內(nèi)容??export?JAVA_HOME=$jdkpath??export??PATH=$JAVA_HOME/bin:$PATH??export?CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar4.生效profile(或者重啟機器)??s
4、ource/etc/profile5.終端輸入java-version??輸出類似如下說明安裝成功???三、安裝Scala1.下載地址??官網(wǎng)下載地址：http://www.scala-lang.org/download/all.html??本例使用的是Scala2.9.32.在安裝目錄下解壓（假設Scala目錄是scalapath）??tar-zxvf?scala-2.9.3.tgz3.配置環(huán)境變量，修改/etc/profile文件增加以下內(nèi)容??export?SCALA_HOME=$scalapath??
5、export??PATH=$SCALA_HOME/bin:$PATH4.生效profile(或者重啟機器)??source/etc/profile四、配置SSH免密碼登陸首先，需要配置各個機器間的相互訪問：1、?配置ssh的自動登陸(在master機上)：????$?ssh-keygen?-t?dsa?-P?”?-f?~/.ssh/id_dsa????完成后會在~/.ssh/(用戶目錄下)生成兩個文件：id_dsa?和id_dsa.pub。????再把id_dsa.pub?追加到授權(quán)key?里面(當前并沒有a
6、uthorized_keys文件)：????$?cat?~/.ssh/id_dsa.pub?>>?~/.ssh/authorized_keys????完成后可以實現(xiàn)無密碼登錄本機：????$?ssh?localhost2、把master上的id_dsa.pub?文件追加到slaves機器的authorized_keys?內(nèi)(?以slaves1節(jié)點為例)：????#拷貝master的id_dsa.pub文件(在master號機器上執(zhí)行)????$?scp?id_dsa.pub?redmap@192.168.1.
7、2:/home/redmap/注：(只需在主節(jié)點上運行ssh-kegen程序。其他節(jié)點的目錄結(jié)構(gòu)創(chuàng)建后，將剛才在主節(jié)點創(chuàng)建的keys通過scp拷貝到從節(jié)點的同樣的目錄上。)我們在實際執(zhí)行中是手動把id_dsa.pub拷貝到其他slaves的節(jié)點中，而不是用scp命令。最好是直接手動拷貝過去，這樣文件的權(quán)限是一致的。登錄192.168.1.2，進入用戶目錄下執(zhí)行：????$?cat?id_dsa.pub?>>?.ssh/authorized_keys????之后可以在master上不輸入密碼直接SSH訪問sla
8、ves1五、安裝Hadoop2.x1.下載Hadoop??下載地址?http://apache.fayea.com/hadoop/common/??本文使用hadoop-2.5.2.tar2.解壓壓縮包到指定目錄??tar-zxvfhadoop-2.5.2.tar-C/usr/local(目錄自定義)??如果需要修改擁有者??chown-Rhduser:hadoop?hadoop-2.5.23.配置
