資源描述：
《《云計(jì)算》教材配套課件8-開(kāi)源云計(jì)算系統(tǒng)hadoop》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、Hadoop電子工業(yè)出版社劉鵬主編《云計(jì)算》教材配套課件8主要內(nèi)容Hadoop項(xiàng)目簡(jiǎn)介HDFS體系結(jié)構(gòu)HDFS關(guān)鍵運(yùn)行機(jī)制HadoopVS.Google（分布式文件系統(tǒng)）HadoopAPIHadoop環(huán)境搭建Hadoop項(xiàng)目簡(jiǎn)介Apache的解決方案Google云計(jì)算MapReduceBigTableGFSChubbyGFS-->HDFSMapReduce-->Hadoop BigTable-->HBaseHadoop項(xiàng)目簡(jiǎn)介HDFS為了做到可靠性（reliability）創(chuàng)建了多份數(shù)據(jù)塊（datablocks）的復(fù)制（replicas），
2、并將它們放置在服務(wù)器群的計(jì)算節(jié)點(diǎn)中（computenodes），MapReduce就可以在它們所在的節(jié)點(diǎn)上處理這些數(shù)據(jù)了。HDFS體系結(jié)構(gòu)NameNode?MasterDataNode?ChunkseverHDFS關(guān)鍵運(yùn)行機(jī)制--保障可靠性的措施一個(gè)名字節(jié)點(diǎn)和多個(gè)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)復(fù)制（冗余機(jī)制）--存放的位置（機(jī)架感知策略）故障檢測(cè)--數(shù)據(jù)節(jié)點(diǎn)心跳包（檢測(cè)是否宕機(jī)）塊報(bào)告（安全模式下檢測(cè)）數(shù)據(jù)完整性檢測(cè)（校驗(yàn)和比較）--名字節(jié)點(diǎn)（日志文件，鏡像文件）空間回收機(jī)制HDFS關(guān)鍵運(yùn)行機(jī)制--寫(xiě)文件流程客戶(hù)端緩存流水線(xiàn)復(fù)制并發(fā)寫(xiě)控制流程：1.客戶(hù)端把數(shù)
3、據(jù)緩存到本地臨時(shí)文件夾2.臨時(shí)文件夾數(shù)據(jù)超過(guò)64M，客戶(hù)端聯(lián)系NameNode，NameNode分配DataNode，DataNode依照客戶(hù)端的位置被排列成一個(gè)有著最近物理距離和最小的序列3.與序列的第一個(gè)數(shù)據(jù)服務(wù)器建立Socket連接，發(fā)送請(qǐng)求頭，然后等待回應(yīng)，依次下傳，客戶(hù)端得到回包，流水線(xiàn)建立成功，4.正式發(fā)送數(shù)據(jù)，以4K為大小傳送HDFS關(guān)鍵運(yùn)行機(jī)制--讀文件流程客戶(hù)端聯(lián)系NameNode,得到所有數(shù)據(jù)塊信息，以及數(shù)據(jù)塊對(duì)應(yīng)的所有數(shù)據(jù)服務(wù)器的位置信息嘗試從某個(gè)數(shù)據(jù)塊對(duì)應(yīng)的一組數(shù)據(jù)服務(wù)器中選出一個(gè)，進(jìn)行連接（選取算法未加入相對(duì)位置的
4、考慮）數(shù)據(jù)被一個(gè)包一個(gè)包發(fā)送回客戶(hù)端，等到整個(gè)數(shù)據(jù)塊的數(shù)據(jù)都被讀取完了，就會(huì)斷開(kāi)此鏈接，嘗試連接下一個(gè)數(shù)據(jù)塊對(duì)應(yīng)的數(shù)據(jù)服務(wù)器，整個(gè)流程，依次如此反復(fù)，直到所有想讀的都讀取完了為止HadoopVS.Google技術(shù)架構(gòu)的比較數(shù)據(jù)結(jié)構(gòu)化管理組件：Hbase→BigTable并行計(jì)算模型：MapReduce→MapReduce分布式文件系統(tǒng)：HDFS→GFSHadoop缺少分布式鎖服務(wù)ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云計(jì)算應(yīng)用ChubbyGoogle云計(jì)算應(yīng)用HadoopVS.G
5、oogleHDFS與GFS比較中心服務(wù)器模式的差異GFS：多臺(tái)物理服務(wù)器，選擇一臺(tái)對(duì)外服務(wù)，損壞時(shí)可選擇另外一臺(tái)提供服務(wù)HDFS：?jiǎn)我恢行姆?wù)器模式，存在單點(diǎn)故障原因：Hadoop缺少分布式鎖服務(wù)HadoopVS.GoogleHDFS與GFS比較子服務(wù)器管理模式差異GFS：ChunkServer在Chubby中獲取獨(dú)占鎖表示其生存狀態(tài)，Master通過(guò)輪詢(xún)這些獨(dú)占鎖獲知ChunkServer的生存狀態(tài)HDFS：DataNode通過(guò)心跳的方式告知NameNode其生存狀態(tài)GFS中，Master損壞時(shí)，替補(bǔ)服務(wù)器可以快速獲知ChunkServe
6、r的狀態(tài)HDFS中，NameNode損壞后，NameNode恢復(fù)時(shí)需要花費(fèi)一段時(shí)間獲知DataNode的狀態(tài)在添加數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)時(shí)，GFS的伸縮性較HDFS要好原因：Hadoop缺乏分布式鎖服務(wù)HadoopVS.GoogleHDFS與GFS比較HDFS具備安全模式獲知數(shù)據(jù)塊副本狀態(tài)，若副本不足，則拷貝副本至安全數(shù)目（如3個(gè)）GFS不具備安全模式副本損壞處理：API讀取副本失敗時(shí)，Master負(fù)責(zé)發(fā)起拷貝任務(wù)HadoopVS.GoogleHDFS與GFS比較HDFS具備空間回收機(jī)制文件刪除時(shí)，僅刪除目錄結(jié)構(gòu)實(shí)際數(shù)據(jù)的刪除在等待一段時(shí)間后實(shí)施優(yōu)點(diǎn)
7、：便于恢復(fù)文件HDFSAPIHadoopAPI被分成（divideinto）如下幾種主要的包（package）:org.apache.hadoop.conf定義了系統(tǒng)參數(shù)的配置文件處理API。org.apache.hadoop.fs定義了抽象的文件系統(tǒng)API。org.apache.hadoop.HdfsHDFS，Hadoop的分布式文件系統(tǒng)實(shí)現(xiàn)。org.apache.hadoop.io定義了通用的I/OAPI，用于針對(duì)網(wǎng)絡(luò)，數(shù)據(jù)庫(kù)，文件等數(shù)據(jù)對(duì)象做讀寫(xiě)操作。org.apache.hadoop.ipc用于網(wǎng)絡(luò)服務(wù)端和客戶(hù)端的工具，封裝了網(wǎng)絡(luò)異
8、步I/O的基礎(chǔ)模塊。org.apache.hadoop.mapreduceHadoop分布式計(jì)算系統(tǒng)（MapReduce）模塊的實(shí)現(xiàn)，包括任務(wù)的分發(fā)調(diào)度等。org.apache.
