oracle從入門(mén)到精通

《oracle從入門(mén)到精通》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、集群的構(gòu)建和安裝：ApacheHadoop分發(fā)包安裝Hadoop。需要添加到安裝腳本之中的內(nèi)容：安裝Java檢查Java是否已被正確安裝。%java-version創(chuàng)建Hadoop用戶(hù)：創(chuàng)建特定的Hadoop用戶(hù)賬號(hào)以區(qū)分Hadoop和本機(jī)上的其他服務(wù)。（在新用戶(hù)的home目錄設(shè)在一個(gè)NFS掛載的驅(qū)動(dòng)器上，輔助SSH秘鑰分布。NFS服務(wù)器在Hadoop集群之外，如果用戶(hù)選擇使用NFS，則有必要考慮autofs,它提供按需掛載NFS文件系統(tǒng)的功能，即系統(tǒng)訪(fǎng)問(wèn)它時(shí)才掛載。autofs也提供一些措施來(lái)應(yīng)對(duì)NFS服務(wù)器發(fā)生故障的情況）安裝HadoopHadoop并沒(méi)有安裝在hadoop用戶(hù)

2、的home目錄下，最啊哦是在某一NFS掛載的目錄上cd/usr/localsudotarxzfhadoop-x.y.z.tar.gz將Hadoop文件的擁有者改為hadoop用戶(hù)和組sudochown-Rhadoop:hadoophadoop-x.y.zSSH配置SSH運(yùn)行hadoop用戶(hù)無(wú)需鍵入密碼即可登錄集群內(nèi)的機(jī)器。最簡(jiǎn)單的方法是創(chuàng)建一個(gè)公鑰/私鑰對(duì)，利用NFS在整個(gè)集群間共享該秘鑰對(duì)。以某hadoop用戶(hù)賬號(hào)登錄后，鍵入一下指令來(lái)產(chǎn)生一個(gè)RSA密鑰對(duì)。%ssh-keygen-trsa-f~/.ssh/id_rsa為了安全，當(dāng)系統(tǒng)提示輸入口令時(shí)，用戶(hù)最好指定一個(gè)口令，可以使用

3、ssh-agent避免為每個(gè)連接一一輸入密碼。私鑰放在由-f選項(xiàng)指定的文件中，例如~/.ssh/id_rsa.pub。存放公鑰的文件名稱(chēng)與私鑰類(lèi)似，但是以".pub"作為后綴，例如~~/.ssh/id_rsa.pub。接下來(lái)，需要確保公鑰存放在用戶(hù)打算連接的所有機(jī)器的~/.ssh/authorized_keys文件中。如果hadoop用戶(hù)的home目錄在NFS文系統(tǒng)中，則密鑰可以通過(guò)鍵入一下指令在整個(gè)集群共享:%cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys如果home目錄并非通過(guò)NFS共享，則需要利用其它方法共享公鑰。測(cè)試是否可以從主機(jī)器

4、ssh到工作機(jī)器。若可以，則表明ssh-agent正在運(yùn)行。再運(yùn)行ssh-add來(lái)存儲(chǔ)口令。這樣的話(huà)，用戶(hù)即可不輸入口令就能ssh到一臺(tái)工作機(jī)器。Hadoop配置Hadoop配置文件hadoop-env.shBash腳本記錄腳本要用的環(huán)境變量，以運(yùn)行hadoopcore-site.xmlHadoop配置XMLHadoopCore的配置項(xiàng)，例如HDFS和MapReduce常用的I/O設(shè)置等hdfs-site.xmlHadoop配置XMLHadoop守護(hù)進(jìn)程的配置項(xiàng)，包括namenode、輔助namenode和datanode等mapred-site.xmlHadoop配置XMLMap

5、Reduce守護(hù)進(jìn)程的配置項(xiàng)，包括jobtracker和tasktrackermasters純文本運(yùn)行輔助namenode的機(jī)器列表（每行一個(gè)）slaves純文本運(yùn)行datanode和tasktracker的機(jī)器列表(mei)hadoop-metrics.propertiesjava屬性控制metrics在Hadoop上如何發(fā)布的屬性log4j.propertiesjava屬性系統(tǒng)日志文件、namenode審計(jì)日志、tasktracker子進(jìn)程的任務(wù)日志的屬性。-------------------------------------------------------------

6、----------------------------------------------------上述文件都放在Hadoop分發(fā)包的conf目錄中。配置目錄頁(yè)可重新放在文件系統(tǒng)的其他地方。但守護(hù)進(jìn)程啟動(dòng)時(shí)需要使用--config選項(xiàng)，以指向本地文件系統(tǒng)的某個(gè)目錄。配置管理集群的Hadoop節(jié)點(diǎn)都各自保存在一系列配置文件，并由管理員完成這些配置的同步工作。Hadoop提供一個(gè)基本工具來(lái)進(jìn)行同步配置，即rsync。此外，諸如dsh或pdsh等并行shell工具也可完成該任務(wù)。Hadoop支持為所有主機(jī)器和工作機(jī)器采用同一套配置文件。------------------------

7、-------------------------------------------------------------------------------------------控制腳本Hadoop內(nèi)置一些腳本來(lái)運(yùn)行指令，在集群內(nèi)啟動(dòng)和終止守護(hù)進(jìn)程。為了運(yùn)行這些腳本，需要指定集群內(nèi)的所有機(jī)器。有兩個(gè)文件能達(dá)成這個(gè)目標(biāo)（存放在bin目錄中),還需要指定集群內(nèi)的所有機(jī)器。有兩個(gè)文件能達(dá)成這個(gè)目標(biāo)，即masters和slaves。各文件逐行記錄一些機(jī)器的名稱(chēng)或IP地址。