大規(guī)模分布式文件系統(tǒng)設(shè)計(jì)(distributed file system)

《大規(guī)模分布式文件系統(tǒng)設(shè)計(jì)(distributed file system)》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、大規(guī)模分布式文件系統(tǒng)的設(shè)計(jì)目錄1.任務(wù)概述11.1產(chǎn)品的前景11.2產(chǎn)品的功能12.總體設(shè)計(jì)32.1系統(tǒng)總體架構(gòu)33系統(tǒng)概要設(shè)計(jì)53.1子模塊描述53.1.1MasterService子模塊描述53.1.2DFSManager子模塊描述53.1.3Namespace子模塊描述63.1.4CloneManager子模塊描述63.1.5GarbageCollector子模塊描述73.1.6ChunkRebalance子模塊描述73.1.7LeaseMonitor子模塊描述73.1.8ChunkManager子模塊73.1.9

2、ChunkServerManager子模塊83.1.10ChunkServer子模塊83.1.11DFSFileSyetem子模塊93.1.12Client子模塊93.2關(guān)鍵過(guò)程描述103.2.1名字空間的讀取及保存過(guò)程103.2.2獲取文件對(duì)應(yīng)的所有文件塊過(guò)程103.2.3新建文件過(guò)程103.2.4文件結(jié)束過(guò)程113.2.5文件刪除過(guò)程113.2.6獲取文件指定偏移量處對(duì)應(yīng)Chunk所在的ChunkServer113.2.7心跳信息處理過(guò)程113.2.8心跳檢測(cè)過(guò)程113.2.9ChunkServer的Chunk更新過(guò)

3、程123.2.10孤立文件塊的獲取123.2.11獲取需要拷貝的文件塊123.2.12數(shù)據(jù)塊的寫(xiě)入過(guò)程123.2.13數(shù)據(jù)塊的讀取過(guò)程133.2.14創(chuàng)建到文件系統(tǒng)的輸出流133.2.15復(fù)制本地文件/目錄到文件系統(tǒng)上133.2.16復(fù)制文件系統(tǒng)上的文件/目錄到本地133.2.17把特定的字節(jié)寫(xiě)到輸出流144.詳細(xì)設(shè)計(jì)144.1MasterServer設(shè)計(jì)144.1.1單MasterServer機(jī)制144.1.2操作日志144.1.3namespace管理154.1.4元數(shù)據(jù)（MetaData）154.1.5ChunkS

4、erver宕機(jī)處理164.2Chunk設(shè)計(jì)164.2.1Chunk的大小164.2.2塊的位置174.2.3塊副本位置174.2.4塊的備份數(shù)184.2.5塊的垃圾回收機(jī)制184.3ChunkServer設(shè)計(jì)184.3.1ChunkManager184.3.3ChunkServer服務(wù)類(lèi)20221.任務(wù)概述1.1產(chǎn)品的前景網(wǎng)站應(yīng)用的大數(shù)據(jù)量和大訪(fǎng)問(wèn)量的問(wèn)題一直困擾著網(wǎng)站從業(yè)人員。數(shù)據(jù)量的增長(zhǎng)和訪(fǎng)問(wèn)量的上升需要不停的升級(jí)硬件，提升機(jī)器性能來(lái)支持，而基于大型機(jī)的架構(gòu)不能隨著數(shù)據(jù)量和訪(fǎng)問(wèn)量的增長(zhǎng)而線(xiàn)形擴(kuò)展。為了緩解甚至解決這個(gè)

5、問(wèn)題，提出了基于服務(wù)內(nèi)容的負(fù)載均衡和高頻訪(fǎng)問(wèn)系統(tǒng)這個(gè)解決方案。本系統(tǒng)將研究基礎(chǔ)服務(wù)內(nèi)容，將基礎(chǔ)服務(wù)內(nèi)容存儲(chǔ)在多臺(tái)機(jī)器上，利用多臺(tái)機(jī)器上的小的存儲(chǔ)空間來(lái)構(gòu)成一個(gè)統(tǒng)一的巨大的存儲(chǔ)空間。本系統(tǒng)還對(duì)文件訪(fǎng)問(wèn)進(jìn)行優(yōu)化，使得對(duì)一個(gè)文件的訪(fǎng)問(wèn)，可以分布到多臺(tái)機(jī)器上，使得大量的對(duì)一個(gè)文件的同時(shí)訪(fǎng)問(wèn)，分配到多個(gè)機(jī)器上，提高文件的訪(fǎng)問(wèn)性能。在分布式服務(wù)內(nèi)容之上，還可以建立分布式應(yīng)用系統(tǒng)例如分布式數(shù)據(jù)庫(kù)系統(tǒng)，兩者配合可以構(gòu)建一個(gè)高性能的負(fù)載均衡和高頻訪(fǎng)問(wèn)系統(tǒng)。本系統(tǒng)的目的是設(shè)計(jì)和實(shí)現(xiàn)基于服務(wù)內(nèi)容的負(fù)載均衡和高頻訪(fǎng)問(wèn)系統(tǒng)，能夠至少支持50T的數(shù)

6、據(jù)量，支持1000個(gè)并發(fā)訪(fǎng)問(wèn)，每個(gè)訪(fǎng)問(wèn)的響應(yīng)時(shí)間在用戶(hù)容忍的范圍內(nèi)。并且，對(duì)于數(shù)據(jù)量的增長(zhǎng)和訪(fǎng)問(wèn)量的上升能夠簡(jiǎn)單的通過(guò)增加普通服務(wù)器來(lái)實(shí)現(xiàn)，而不需要購(gòu)置高價(jià)的服務(wù)器，從而大大節(jié)約成本。1.2產(chǎn)品的功能本系統(tǒng)主要分成三個(gè)部分：MasterServer，ChunkServer，Client。整體結(jié)構(gòu)如下圖所示：l元數(shù)據(jù)服務(wù)(MasterServer)：管理基礎(chǔ)服務(wù)內(nèi)容的元數(shù)據(jù)，包括文件的數(shù)據(jù)塊信息；以及對(duì)外提供文件的讀寫(xiě)服務(wù)，系統(tǒng)的內(nèi)部服務(wù)；部署在分布式服務(wù)器上。l數(shù)據(jù)塊服務(wù)（Chunkserver）：管理每個(gè)分布式節(jié)點(diǎn)上的

7、文件存儲(chǔ)；提供緩存服務(wù)；對(duì)外提供文件數(shù)據(jù)塊的訪(fǎng)問(wèn)；部署在分布式節(jié)點(diǎn)上。l客戶(hù)端接口(Client)：對(duì)應(yīng)用端提供服務(wù)，提供文件的創(chuàng)建，讀取，寫(xiě)入功能。它通過(guò)向MasterServer、ChunkServer發(fā)送命令來(lái)提供服務(wù)。部署在應(yīng)用端上。22文件的組織結(jié)構(gòu)如下所示：l命名空間(namespace)：文件的組。一個(gè)namespace可以保存多個(gè)文件，一個(gè)文件只能屬于一個(gè)namespace。一般相同應(yīng)用的文件保存在同一個(gè)namespace中，有namespace來(lái)統(tǒng)一設(shè)置文件的權(quán)限、保存屬性。l文件(file)：分布式文

8、件。一個(gè)文件屬于一個(gè)namespace，并且有多個(gè)Chunk構(gòu)成。文件會(huì)存儲(chǔ)在多個(gè)ChunkServer上。對(duì)文件的讀取和寫(xiě)入都在ChunkServer上進(jìn)行。l文件塊(chunk)：文件的基本組織單位。每個(gè)文件塊都是相同大小的，系統(tǒng)對(duì)文件的讀寫(xiě)最后都轉(zhuǎn)化為對(duì)文件塊的讀寫(xiě)。對(duì)用戶(hù)來(lái)說(shuō)，Chunk是不可見(jiàn)的。本系統(tǒng)主要