資源描述：
《hadoop之hdfs研究》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、Hadoop之HDFS研究前言：網(wǎng)上已經(jīng)有了一些技術(shù)博客來(lái)分析Hadoop，這里的分析基于以下的技術(shù)博客，并感謝，本文的源代碼分析結(jié)合了技術(shù)博客和hadoop0.19.0版本的源代碼，并融入了自己的理解。匯總?cè)缦?，http://caibinbupt.javaeye.com/側(cè)重HDFS的分析，是我學(xué)習(xí)的重要參考資料和起點(diǎn)。http://coderplay.javaeye.com/側(cè)重MapReduce的分析，暫時(shí)還沒(méi)有深入學(xué)習(xí)。http://www.cppblog.com/javenstudio/有部分Ha
2、doop，也有Lucene的分析。暫時(shí)還沒(méi)有深入學(xué)習(xí)。http://hadoop.apache.org/core/docs/current/api/hadoop的官方API說(shuō)明本文的分析以http://caibinbupt.javaeye.com/為基礎(chǔ)，但側(cè)重點(diǎn)不同。本文分析的目標(biāo)如下：1，刪繁就簡(jiǎn)，考慮一個(gè)最簡(jiǎn)單、能跑起來(lái)的HDFS是如何實(shí)現(xiàn)的，對(duì)于一些系統(tǒng)升級(jí)等細(xì)節(jié)不涉及。2，理清系統(tǒng)的主要模塊之間的交互關(guān)系，便于從整體上把握系統(tǒng)。對(duì)模塊采用內(nèi)外兩種方式分析。先搞明白模塊的外部接口，干什么用，怎么用。
3、再考慮模塊的內(nèi)部是如何怎么實(shí)現(xiàn)的。技術(shù)博客中對(duì)模塊內(nèi)部是如何實(shí)現(xiàn)的解釋比較多，本文更多的從如何使用模塊的角度講3，從改進(jìn)和研究的角度去看系統(tǒng)，重點(diǎn)關(guān)注有研究?jī)r(jià)值部分的代碼（例如，塊的放置策略，MapReduce的調(diào)度策略）實(shí)現(xiàn)，找到相關(guān)的代碼，搞清楚修改代碼需要使用哪些API，目前的實(shí)現(xiàn)策略是什么。目前狀況：分析了部分代碼，NameNode的分析只完成了部分，很多細(xì)節(jié)還沒(méi)有看明白。整體概覽?主要的包與功能介紹PackageDependencestool提供一些命令行工具，如DistCp，archivemap
4、reduceHadoop的Map/Reduce實(shí)現(xiàn)filecache提供HDFS文件的本地緩存，用于加快Map/Reduce的數(shù)據(jù)訪問(wèn)速度f(wàn)s文件系統(tǒng)的抽象，可以理解為支持多種文件系統(tǒng)實(shí)現(xiàn)的統(tǒng)一文件訪問(wèn)接口hdfsHDFS，Hadoop的分布式文件系統(tǒng)實(shí)現(xiàn)ipc一個(gè)簡(jiǎn)單的IPC的實(shí)現(xiàn)，依賴(lài)于io提供的編解碼功能參考：http://zhangyu8374.javaeye.com/blog/86306io表示層。將各種數(shù)據(jù)編碼/解碼，方便于在網(wǎng)絡(luò)上傳輸。完成對(duì)象的序列化與反序列化。net封裝部分網(wǎng)絡(luò)功能，如DN
5、S，socketsecurity用戶(hù)和用戶(hù)組信息conf系統(tǒng)的配置參數(shù)metrics系統(tǒng)統(tǒng)計(jì)數(shù)據(jù)的收集，屬于網(wǎng)管范疇util工具類(lèi)record根據(jù)DDL（數(shù)據(jù)描述語(yǔ)言）自動(dòng)生成他們的編解碼函數(shù)，目前可以提供C++和Javahttp基于Jetty的HTTPServlet，用戶(hù)通過(guò)瀏覽器可以觀察文件系統(tǒng)的一些狀態(tài)信息和日志log提供HTTP訪問(wèn)日志的HTTPServletHDFS的設(shè)計(jì)概述：NameNode的設(shè)計(jì)維護(hù)名字空間，是HDFS中文件目錄和文件分配的管理者。保存的重要信息如下：文件名————>數(shù)據(jù)塊，N
6、ameNode在其本地磁盤(pán)上保存為文件（持久化）對(duì)目錄樹(shù)和文件名的更新——>數(shù)據(jù)塊，使用操作日志來(lái)保存更新。數(shù)據(jù)塊————>DataNode列表，NameNode不存，通過(guò)DataNode上報(bào)建立起來(lái)。一個(gè)HDFS集群上可能包含成千個(gè)DataNode節(jié)點(diǎn)，這些DataNode定時(shí)和NameNode通信，接受NameNode的指令。為了減輕NameNode的負(fù)擔(dān)，NameNode上并不永久保存那個(gè)DataNode上有那些數(shù)據(jù)塊的信息，而是通過(guò)DataNode啟動(dòng)時(shí)的上報(bào)，來(lái)更新NameNode上的映射表。Da
7、taNode和NameNode建立連接以后，就會(huì)不斷地和NameNode保持心跳。心跳的返回其還也包含了NameNode對(duì)DataNode的一些命令，如刪除數(shù)據(jù)庫(kù)或者是把數(shù)據(jù)塊復(fù)制到另一個(gè)DataNode。應(yīng)該注意的是：NameNode不會(huì)發(fā)起到DataNode的請(qǐng)求，在這個(gè)通信過(guò)程中，它們是嚴(yán)格的客戶(hù)端/服務(wù)器架構(gòu)。DataNode當(dāng)然也作為服務(wù)器接受來(lái)自客戶(hù)端的訪問(wèn)，處理數(shù)據(jù)塊讀/寫(xiě)請(qǐng)求。DataNode之間還會(huì)相互通信，執(zhí)行數(shù)據(jù)塊復(fù)制任務(wù)，同時(shí)，在客戶(hù)端做寫(xiě)操作的時(shí)候，DataNode需要相互配合，保
8、證寫(xiě)操作的一致性。下面我們就來(lái)具體分析一下DataNode的實(shí)現(xiàn)。DataNode的實(shí)現(xiàn)包括兩部分，一部分是對(duì)本地?cái)?shù)據(jù)塊的管理，另一部分，就是和其他的實(shí)體打交道。我們先來(lái)看本地?cái)?shù)據(jù)塊管理部分。安裝Hadoop的時(shí)候，我們會(huì)指定對(duì)應(yīng)的數(shù)據(jù)塊存放目錄，當(dāng)我們檢查數(shù)據(jù)塊存放目錄目錄時(shí)，我們回發(fā)現(xiàn)下面有個(gè)叫dfs的目錄，所有的數(shù)據(jù)就存放在dfs/data里面。其中有兩個(gè)文件，storage里存的東西是一些出錯(cuò)信息，貌似是
