云狀全分布式可配置存儲系統(tǒng)的研究

《云狀全分布式可配置存儲系統(tǒng)的研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、云狀全分布式可配置存儲系統(tǒng)的研究本文在明確云技術(shù)重要性的基礎(chǔ)上，首先分析了云狀全分布式可配置存儲系統(tǒng)的設(shè)計原則，并進一步詳細研究了云狀全分布式可配置存儲系統(tǒng)的設(shè)計。關(guān)鍵詞：云狀全分布式；可配置；存儲系統(tǒng)1引言　　X絡(luò)搜索引擎中的存儲數(shù)據(jù)都會對存儲系統(tǒng)有著不同的需求。比如：Google的文件系統(tǒng)針對大型文件采取了存儲優(yōu)化措施，一般將固定塊的大小限定在64M，而針對小型文件，這樣固定塊的大小就會產(chǎn)生浪費現(xiàn)象。此外，Google文件系統(tǒng)的存儲結(jié)構(gòu)是基于MasterServer的。借助于MasterServer，可以在很大程度上保證運轉(zhuǎn)的正常，但是Maste

2、rServer的部署卻都經(jīng)過干預(yù)，這樣使得系統(tǒng)不是完全分布式的，對于系統(tǒng)的擴展也會造成一定的影響?！　∫虼耍疚难芯吭O(shè)計一個有效的可配置的存儲系統(tǒng)，稱為云狀全分布式可配置存儲系統(tǒng)，希望解決X絡(luò)搜索引擎中存在的問題。2云狀全分布式可配置存儲系統(tǒng)的設(shè)計原則　　基于云角度進行分析，可配置存儲系統(tǒng)不但可以應(yīng)用于某個明確的領(lǐng)域，且能滿足各項業(yè)務(wù)需求；比如：X絡(luò)搜索引擎中涉及到的各類數(shù)據(jù)的存放?？梢姡朴嬎愕膶ο笕匀皇悄切Υ鎯陀嬎阌幸欢ㄐ枨蟮挠脩舳?。本文研究的云狀全分布式可配置存儲系統(tǒng)是通過Key/Value接口進行一致性定義的，這樣能夠有效滿足數(shù)據(jù)的增長以

3、及搜索率的提高。具體的設(shè)計原則體現(xiàn)在以下幾個方面：一、伸縮性良好。存儲系統(tǒng)中的服務(wù)器集群與云相類似，在每個時間段都有其不同的屬性特征，在真正存儲需求到達時，服務(wù)器集群就會整合在一起。而且，存儲系統(tǒng)中的數(shù)據(jù)集合也與云相類似，屬于一個文件的數(shù)據(jù)呈序列化緊密存儲。二、具有透明的存儲接口。當用戶將需要存儲的數(shù)據(jù)丟入云中，該數(shù)據(jù)具體存儲至哪個服務(wù)器以及哪個分區(qū)內(nèi)，用戶不需要知道。當用戶搜索所要關(guān)注的文件數(shù)據(jù)時，可以直接借助于句柄搜索文件數(shù)據(jù)，也不知道需求具體的搜索流程。三、具有全分布性。存儲系統(tǒng)中的所有設(shè)備都是平等的，無主次的，并且保證設(shè)備節(jié)點的變換對其他設(shè)備

4、節(jié)點不會產(chǎn)生影響。四、具有可配置性。本存儲系統(tǒng)是基于云狀全分布式的，其中的設(shè)備都應(yīng)該按照規(guī)范機制明確自己與周邊設(shè)備在整個云狀中的存儲能力以及計算能力，這樣遇到特殊存儲要求的文件數(shù)據(jù)時，可以綜合其已有的各種因素。3云狀全分布式可配置存儲系統(tǒng)的設(shè)計　　一個完整的云狀全分布式可配置存儲系統(tǒng)是十分復(fù)雜的，本文限于篇幅，著重研究數(shù)據(jù)分配以及副本同步這兩大方面的設(shè)計。3.1系統(tǒng)數(shù)據(jù)分配的設(shè)計　　分布式DHTX存在眾多的算法，所有算法的目標都是為了讓Key有效與服務(wù)器實現(xiàn)映射。在本文的云狀全分布式可配置存儲系統(tǒng)中，提出了一個分布式的存儲結(jié)構(gòu)，如圖3-1所示：　　圖

5、3-1系統(tǒng)的數(shù)據(jù)分配圖　　如圖3-1，其中的服務(wù)器在進行入X之前，都會有幾個NodeId與其相映射，而且這樣的映射關(guān)系是1:N的關(guān)系。這樣的映射關(guān)系能夠很好地保證云狀X絡(luò)的負載均衡。此外，圖中的Node的形狀是一個圓，每個Node對應(yīng)的圓大小不是固定不變的，它會根據(jù)云狀中的服務(wù)器個數(shù)而發(fā)生變化。比如：云狀中服務(wù)器較多時，映射對應(yīng)的Node也會較多，這時Node對應(yīng)的形狀圓就會相應(yīng)變大。而這個虛擬形狀圓的主要作用就是為了實現(xiàn)良好的可配置性。虛擬形狀圓中會涉及到多臺服務(wù)器，這些服務(wù)器的配置不一樣，決定了性能也會不同。而由于這個虛擬形狀圓，可以很好地實現(xiàn)一

6、定范圍內(nèi)服務(wù)器間的資源流動。3.2系統(tǒng)副本同步的設(shè)計　　云狀全分布式X絡(luò)中的任何一個數(shù)據(jù)項，通過算法計算后，都會生成一個對應(yīng)的Key。虛擬形狀圓就是由最小值以及最大值所組成的圓，顯然數(shù)據(jù)項對應(yīng)Key位于最小值以及最大值的之間。存儲系統(tǒng)運行時，首先沿著虛擬形狀圓從最小值出發(fā)，定位到第一個Node（該Node的值要求大于Key），其次將數(shù)據(jù)保存到該Node對應(yīng)的服務(wù)器內(nèi)存中。這樣的定位策略可以很好地保證當節(jié)點有更新時，對于云狀中的其他服務(wù)器影響甚小?！　∫詧D3-1的數(shù)據(jù)為例，如果一個數(shù)據(jù)項經(jīng)過算法計算后，生成的key為195，通過虛擬形狀圓的搜索，首先定

7、位的節(jié)點是209。如果在194及199間添加一個新的節(jié)點，編號是196，那么通過虛擬形狀圓的搜索，就會直接定位到這個新增加的節(jié)點?？梢姡捎眠@樣的定位設(shè)計，當節(jié)點有所變動時，只會對節(jié)點周邊相關(guān)節(jié)點產(chǎn)生一定影響?！　〈送猓茽钊植际娇膳渲么鎯ο到y(tǒng)借助于數(shù)據(jù)點后的兩個備份節(jié)點實現(xiàn)系統(tǒng)的可靠性。仍以圖3-1的數(shù)據(jù)為例，當數(shù)據(jù)定位到節(jié)點195，應(yīng)該存儲到最近的相關(guān)節(jié)點199，同時節(jié)點199后面的209以及288就成為了備份節(jié)點。這樣的副本同步機制，當面臨數(shù)據(jù)更改時，只會對兩臺相關(guān)服務(wù)器產(chǎn)生影響，而其他服務(wù)器不受牽連，體現(xiàn)了可靠性。4總結(jié)　　隨著X絡(luò)技術(shù)的發(fā)

8、展以及寬帶化的部署，計算機的速度越來越快，價格也逐漸下降，這樣為云服務(wù)開辟了很好的發(fā)展空間。由于云計算會極大