資源描述：
《hadoop—集群維護(hù)手冊(cè).doc》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。
1、Hadoop部分啟動(dòng)命令：start-all.sh停止命令：stop-all.shHadoop運(yùn)行增加集群的存儲(chǔ)量/節(jié)點(diǎn)如果只增加集群的存儲(chǔ)量，建議增加Hadoopdatanode節(jié)點(diǎn)。步驟：1、停掉集群包括Hadoop和hbase，當(dāng)然也可以不停掉，直接在hadoopnamenode的配置文件Slave里添加新節(jié)點(diǎn)的host，別忘了在host文件里也要添加新添加的host名。2、執(zhí)行bin/start-all.sh啟動(dòng)集群3、以下選擇一種1)如果不手動(dòng)作平衡，插入的數(shù)據(jù)將會(huì)放在新添加的節(jié)點(diǎn)上。以趨于平衡。2)如果手動(dòng)平衡，則start-balancer.sh和調(diào)用bin/sHad
2、oopbalancer命令相似，也可加參數(shù)-threshold5（threshold是平衡閾值，默認(rèn)是10%，值越低各節(jié)點(diǎn)越平衡，但消耗時(shí)間也更長(zhǎng)）。在使用start-balancer.sh時(shí)，如果在hdfs-site.xml里面沒(méi)有配置dfs.balance.bandwidthPerSec，那么集群hdfs內(nèi)部默認(rèn)使用1M/S的速度移動(dòng)數(shù)據(jù)(soslowly...)，我們可以通過(guò)在hdfs-site.xml里面配置dfs.balance.bandwidthPerSec來(lái)加快balance的速度。最開(kāi)始我們配置的是20m/S，然后結(jié)果是導(dǎo)致job運(yùn)行變得不穩(wěn)定，出現(xiàn)一些意外的長(zhǎng)ma
3、p單元，某些reduce時(shí)間處理變長(zhǎng)(整個(gè)集群負(fù)載滿滿的情況下，外加20m/s的balance)，在前天的中國(guó)hadoop年會(huì)上聽(tīng)淘寶調(diào)整的為10m/s，需要調(diào)整后實(shí)驗(yàn)，看看情況如何。另外再修改dfs.balance.bandwidthPerSec參數(shù)后，需要在namenode上運(yùn)行stop-dfs.shstart-dfs.sh重啟hdfs生效。我們可以通過(guò)stop-balancer.sh停掉平衡任務(wù)。作完平衡后，啟動(dòng)hbase，正常。果cluster設(shè)置的副本數(shù)不為3（默認(rèn)），需要先運(yùn)行命令hadoopfs–setrep[-R]；進(jìn)行設(shè)置一個(gè)文件的副本系數(shù)。如果默認(rèn)為
4、3則不必。如果執(zhí)行完平衡以后才改變副本數(shù)，會(huì)將新加入到新節(jié)點(diǎn)上的所有數(shù)據(jù)刪除。dfs.replication設(shè)置的副本系數(shù)只在文件系統(tǒng)寫(xiě)入時(shí)有效，并不影響在新添加節(jié)點(diǎn)時(shí)，平衡時(shí)的副本數(shù)；另外：由于還有hbase數(shù)據(jù)庫(kù)，因此，在運(yùn)行完平衡以后，將hbase下的.META.文件刪除（防止出錯(cuò)），啟動(dòng)hbase，執(zhí)行hbaseorg.jruby.Mainadd_table/表名來(lái)進(jìn)行hbase表恢復(fù)；Hadoop1升級(jí)1.運(yùn)行dfsadmin-upgradeProgressstatus檢查是否存在備份如果是第一次升級(jí)就不存在備份(在升級(jí)Hadoop前，如果已經(jīng)存在備份，需要先結(jié)束fina
5、lize它。)2.備份dfs.namenode.dir下文件,同時(shí)要備份下hdfs的文件目錄的元數(shù)據(jù)信息:bin/hadoopfsck/-files-blocks-locations>dfs-v-old-fsck-1.logbin/hadoopdfs-lsr/>dfs-v-old-lsr-1.logbin/hadoopdfsadmin-report>dfs-v-old-report-1.log?3.停止所有節(jié)點(diǎn)bin/stop-all.sh4.在所有節(jié)點(diǎn)上重新部署hadoop并替換conf文件夾下所有文件(就是將原有的hadoop-0.19.1更名為hadoop-0.19.1-ol
6、dverstion,然后解壓hadoop-0.19.2.tar.gz將0.19.2中的conf文件替換為0.19.1中的conf文件夾)并且要對(duì)照修改hadoop-site.xml中的路徑指定是否正確5.使用bin/start-dfs.sh-upgrade進(jìn)行升級(jí)(DFS從一個(gè)版本升級(jí)到另外一個(gè)版本的時(shí)候，NameNode和DataNode使用的文件格式有可能會(huì)改變。當(dāng)你第一次使用新版本的時(shí)候，你要告訴Hadoop去改變HDFS版本,否則，新版本不會(huì)生效)?6.監(jiān)控升級(jí)情況和升級(jí)問(wèn)題處理開(kāi)始升級(jí)，你可以通過(guò)bin/hadoopdfsadmin-upgradeProgress命令來(lái)查
7、看版本升級(jí)的情況。當(dāng)然你可以使用bin/hadoopdfsadmin-upgradeProgressdetails來(lái)查看更多的詳細(xì)信息。當(dāng)升級(jí)過(guò)程被阻塞的時(shí)候，你可以使用bin/hadoopdfsadmin-upgradeProgressforce來(lái)強(qiáng)制升級(jí)繼續(xù)執(zhí)行(當(dāng)你使用這個(gè)命令的時(shí)候，一定要慎重考慮)。?當(dāng)HDFS升級(jí)完畢后，Hadoop依舊保留著舊版本的有關(guān)信息，以便你可以方便的對(duì)HDFS進(jìn)行降級(jí)操作?？梢允褂胋in/start-dfs.sh-rollback
