基于糾刪碼的云存儲(chǔ)數(shù)據(jù)可靠性保障-論文.pdf

《基于糾刪碼的云存儲(chǔ)數(shù)據(jù)可靠性保障-論文.pdf》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、第14卷第4期軟件導(dǎo)刊Vo1．14NO．420l5年4月SOftwareGuideApr．2015基于糾刪碼的云存儲(chǔ)數(shù)據(jù)可靠性保障王芳芳(十堰廣播電視大學(xué)(教育學(xué)院)理3-部，湖北十堰442O00)摘要：云存儲(chǔ)系統(tǒng)由于其系統(tǒng)復(fù)雜性和業(yè)務(wù)特征，使數(shù)據(jù)可靠性受到嚴(yán)重挑戰(zhàn)。針對(duì)云計(jì)算環(huán)境下帶數(shù)據(jù)去重的云存儲(chǔ)系統(tǒng)的內(nèi)部數(shù)據(jù)保護(hù)問題，提出一種基于糾刪碼的數(shù)據(jù)可靠性保障機(jī)制，采用多種糾刪編碼算法臻配置方法對(duì)去重?cái)?shù)據(jù)塊進(jìn)行編碼保護(hù)。該機(jī)制具有良好的綜合性能與可擴(kuò)展性。關(guān)鍵詞：云存儲(chǔ)；數(shù)據(jù)可靠性；糾刪碼；數(shù)據(jù)去重DOI：10．11907／rjdk．1431041、中圖分

2、類號(hào)：TP309．2文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672—7800(2015)004—0137—02的糾刪碼算法及配置方法對(duì)去重?cái)?shù)據(jù)塊進(jìn)行靜態(tài)編碼，并0引言提出了基于糾刪碼的云存儲(chǔ)系統(tǒng)數(shù)據(jù)可靠性保障機(jī)制(ReliabilityGuaranteeMechanismforDeduplicationCloud1l7．1云存儲(chǔ)是云計(jì)算服務(wù)商提供的一種IaaS模式的基礎(chǔ)Storage，RGMDCS)。2服務(wù)，其通過硬件集群、高速內(nèi)聯(lián)網(wǎng)絡(luò)以及分布式文件系統(tǒng)等資源和技術(shù)，將大量設(shè)備中的存儲(chǔ)資源整合成一個(gè)整1糾刪碼選取體，共同對(duì)外提供基于網(wǎng)絡(luò)的數(shù)據(jù)存取服務(wù)。它的業(yè)務(wù)特點(diǎn)是向

3、外界提供統(tǒng)一、透明的數(shù)據(jù)操作接口，將所有的分1．1Reed—Solomon編碼布式存儲(chǔ)細(xì)節(jié)都封裝在系統(tǒng)內(nèi)部]。Reed—Solomon編碼(下稱RS編碼)是目前使用最廣目前多數(shù)云存儲(chǔ)系統(tǒng)(網(wǎng)盤、云空間等)為控制系統(tǒng)規(guī)泛的糾刪碼之一。RS編碼同時(shí)具有MDS屬性和系統(tǒng)屬模，降低系統(tǒng)建設(shè)和管理成本，均采用了數(shù)據(jù)去重技術(shù)來性，因此它編碼生成的n個(gè)編碼數(shù)據(jù)片段包含m個(gè)原始?jí)嚎s數(shù)據(jù)量。鑒于其它種類云存儲(chǔ)系統(tǒng)的數(shù)據(jù)保護(hù)要求數(shù)據(jù)片段以及n—m個(gè)校驗(yàn)數(shù)據(jù)片段，其中任意片段丟失較為簡單，現(xiàn)有機(jī)制已經(jīng)能夠很好地滿足需要。因此，本后均可使用任意m個(gè)存留的片段來恢復(fù)。文針對(duì)這種帶

4、數(shù)據(jù)去重的云存儲(chǔ)系統(tǒng)，對(duì)如何保障其內(nèi)部RS編碼的編碼過程可由式(1)描述：數(shù)據(jù)可靠性進(jìn)行了研究。1針對(duì)去重系統(tǒng)的數(shù)據(jù)可靠性保障，傳統(tǒng)做法包括使用m×2更加可靠的底層存儲(chǔ)設(shè)施(如RAID陣列)，以及對(duì)重要的?7數(shù)據(jù)塊保留更多副本。前者部署方便，對(duì)上層透明，但m—Id是容錯(cuò)能力差、恢復(fù)過程慢；后者容錯(cuò)能力強(qiáng)、恢復(fù)過程1．2Tornado編碼快，但空間占用多、帶寬消耗量大、成本高。因此，這兩種Tornado編碼不具有MDS屬性，但具有系統(tǒng)屬性。技術(shù)僅對(duì)小規(guī)模存儲(chǔ)系統(tǒng)以及數(shù)據(jù)量不太大的核心業(yè)務(wù)Tornado編碼的編解碼操作計(jì)算開銷較小，而且用到的節(jié)較為實(shí)用。對(duì)于

5、云存儲(chǔ)這種大規(guī)模分布式存儲(chǔ)系統(tǒng)而言，點(diǎn)數(shù)目也較少。因此，Tornado編碼比傳統(tǒng)的MDS糾刪由于其節(jié)點(diǎn)數(shù)量和數(shù)據(jù)規(guī)模極其龐大，如果每個(gè)節(jié)點(diǎn)都采碼具有更快的運(yùn)算速度，其數(shù)據(jù)修復(fù)過程需要更小的數(shù)據(jù)用高端設(shè)備，或者系統(tǒng)整體采用復(fù)制冗余機(jī)制，均會(huì)導(dǎo)致傳輸量，非常適合大規(guī)模的分布式存儲(chǔ)系統(tǒng)。整體成本的極大增長，使建設(shè)和使用這類系統(tǒng)變得難以承受，從而失去實(shí)用性]。相對(duì)于各類本地存儲(chǔ)系統(tǒng)，云存2靜態(tài)密碼策略儲(chǔ)系統(tǒng)內(nèi)部的數(shù)據(jù)重要性高但活躍度較低，因此有條件在系統(tǒng)內(nèi)使用較為復(fù)雜的糾刪碼來保護(hù)數(shù)據(jù)，以便在存儲(chǔ)成2．1設(shè)計(jì)方案本和可靠性間達(dá)到更好的平衡。為此，本文采用多種不同

6、考慮到云存儲(chǔ)系統(tǒng)面對(duì)的數(shù)據(jù)具有復(fù)雜性和多樣性，基金項(xiàng)目：湖北省現(xiàn)代遠(yuǎn)程教育研究會(huì)專項(xiàng)研究課題(hbyyzx2O14O2)作者簡介：王芳芳(1982一)，女，湖北十堰人，碩士，十堰廣播電視大學(xué)(教育學(xué)院)理工部講師，研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)。軟件導(dǎo)刊2015正RGMDCS系統(tǒng)采用了RabinRngerprinting算法對(duì)數(shù)據(jù)進(jìn)些存儲(chǔ)節(jié)點(diǎn)之間存在著一定關(guān)聯(lián)性，例如相近的物理位行變長分塊。然而，相關(guān)研究表明，若使用變長分塊算法置、共享的供電設(shè)施和網(wǎng)絡(luò)鏈路等，導(dǎo)致它們很可能同時(shí)對(duì)文件進(jìn)行分塊去重，由于數(shù)據(jù)塊大小不同且都比較小或連續(xù)失效，這樣的節(jié)點(diǎn)集合稱作錯(cuò)誤域

7、。針對(duì)這一情(通常為幾十字節(jié)到幾百KB)，在存儲(chǔ)節(jié)點(diǎn)中將數(shù)據(jù)塊直況，RGMDCS的資源管理模塊在為一個(gè)編碼對(duì)象組挑選接存儲(chǔ)會(huì)大大增加設(shè)備中的磁盤碎片，導(dǎo)致其訪問效率低不同節(jié)點(diǎn)進(jìn)行存儲(chǔ)時(shí)，會(huì)挑選分布在不同機(jī)柜、不同供電下，造成系統(tǒng)性能產(chǎn)生較大程度下降。針對(duì)這一矛盾，及網(wǎng)絡(luò)區(qū)域的那些節(jié)點(diǎn)，以降低某個(gè)錯(cuò)誤域內(nèi)多個(gè)節(jié)點(diǎn)同時(shí)或連續(xù)失效對(duì)數(shù)據(jù)造成的損失。此外，對(duì)于同一個(gè)或同RGMDCS將多個(gè)變長的數(shù)據(jù)包打包成較大的定長對(duì)象(Object，一般為幾MB)進(jìn)行存儲(chǔ)和管理，定長對(duì)象的大小一批文件所屬的新數(shù)據(jù)塊，其打包并分組編碼生成的編碼對(duì)象組會(huì)被資源管理模塊盡可能地調(diào)度到

8、同一組節(jié)點(diǎn)存根據(jù)不同的應(yīng)用場景和相關(guān)實(shí)踐來配置。數(shù)據(jù)塊儲(chǔ)。這樣做可有效地減少文件