數(shù)據(jù)糾刪碼技術(shù)

《數(shù)據(jù)糾刪碼技術(shù)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、云時(shí)代的數(shù)據(jù)糾刪碼技術(shù)隨著云計(jì)算應(yīng)用滲透到人們工作、生活的方方面面，菡于云計(jì)算、大數(shù)據(jù)的應(yīng)用業(yè)務(wù)已經(jīng)大規(guī)模的落地實(shí)施，作為數(shù)據(jù)存儲(chǔ)中心的海fi存儲(chǔ)系統(tǒng)冇力的支撐了云計(jì)算業(yè)務(wù)的應(yīng)川和快速發(fā)展，海量存儲(chǔ)系統(tǒng)〒臺(tái)也就成為云計(jì)算建沒過程屮必須規(guī)劃、丼酋先要落地實(shí)施的工作。相比于傳統(tǒng)的％用環(huán)境，云計(jì)算環(huán)境屮的極用業(yè)務(wù)數(shù)景史多、對(duì)存儲(chǔ)系統(tǒng)性能的要求也存在著多樣性的差異，這也就使得面向云計(jì)算、大數(shù)據(jù)的海量存儲(chǔ)系統(tǒng)必須能夠提供差異化的10存儲(chǔ)服務(wù)、以及持續(xù)的在線運(yùn)行和高效、可靠的界錯(cuò)機(jī)制。其屮海景數(shù)據(jù)的冗余保護(hù)機(jī)制是面叫云計(jì)算的海撒存儲(chǔ)系統(tǒng)必須擁柯的一個(gè)重要特征。傳統(tǒng)數(shù)據(jù)

2、冗余保護(hù)不適于云計(jì)算吋代的海跫數(shù)據(jù)存儲(chǔ)需求傳統(tǒng)的存儲(chǔ)陣列所采取的數(shù)據(jù)冗余技術(shù)主耍包拈RAID技術(shù)、副本、快照、鏡像、數(shù)據(jù)同步等方式，這些技術(shù)分別具備獨(dú)柯的特點(diǎn)，適用于不同的應(yīng)用場(chǎng)景。副本，是最簡(jiǎn)單的數(shù)據(jù)冗余策略，即統(tǒng)一存儲(chǔ)系統(tǒng)中存儲(chǔ)M—份數(shù)據(jù)的多個(gè)相hd拷貝，只要這些拷W中的一個(gè)冇效，就能訪問該數(shù)裾。數(shù)裾的副木越多、數(shù)據(jù)的吋用忡越高、可靠性越高，存儲(chǔ)空間的利川率也就越低。快照，是關(guān)于特定數(shù)椐集的一個(gè)拷W，該拷W包括相應(yīng)數(shù)據(jù)在某個(gè)時(shí)間點(diǎn)的映像。根據(jù)實(shí)現(xiàn)方式分為全拷W快照、差分快照、增量快照。全拷W快照數(shù)據(jù)可用性好，但是存儲(chǔ)空間利用效率低;差分快照和增量快照存

3、在著“空窗期”。鏡像，存儲(chǔ)系統(tǒng)在接受數(shù)據(jù)寫入?yún)紙?zhí)行的是寫入兩份操作，即同一份數(shù)裾分別寫入兩個(gè)存儲(chǔ)設(shè)備中。根據(jù)寫入的策略不同，分為同步鏡像、異步鏡像。數(shù)據(jù)鏡像能夠提供較好的數(shù)據(jù)冗余、也給存儲(chǔ)帶來兩倍的壓力，而且存儲(chǔ)系統(tǒng)只有50%的空閩利用率。數(shù)據(jù)M步，是在主存儲(chǔ)系統(tǒng)和備份存儲(chǔ)系統(tǒng)之間實(shí)行的數(shù)據(jù)拷貝操作，數(shù)據(jù)M步的5入操作存在較人的時(shí)叫延遲，較人的限制了K部署環(huán)境。RAID技術(shù)，是把多塊獨(dú)立的存儲(chǔ)磁盤按不M的方式組合起來形成一個(gè)存儲(chǔ)磁盤組，提供比單個(gè)硬盤更高的存儲(chǔ)性能和數(shù)據(jù)冗余保護(hù)。根據(jù)組成磁盤組的方式差異，設(shè)定了RAID級(jí)別。RAID技術(shù)提商了存儲(chǔ)空間資源的

4、利川率，只能提供羊點(diǎn)存儲(chǔ)系統(tǒng)的數(shù)據(jù)保護(hù)，不能滿足人界量、分布式存儲(chǔ)系統(tǒng)的應(yīng)用。RAID技術(shù)是在1GB驅(qū)動(dòng)器!li現(xiàn)前發(fā)明的，隨著磁盤存儲(chǔ)密度的提高，企業(yè)級(jí)存儲(chǔ)磁盤容呈已經(jīng)達(dá)到2TB、3TB、4TB,并出現(xiàn)6TB磁盤。采川高存儲(chǔ)密度構(gòu)建的RAID磁盤姐，出現(xiàn)磁盤故障耑要修正TB級(jí)別的數(shù)據(jù)吋重建過程耑要的吋間較長(zhǎng)，常常耑要一天或者更長(zhǎng)的時(shí)問;特別是在生產(chǎn)系統(tǒng)屮，重建時(shí)叫更長(zhǎng)。在長(zhǎng)時(shí)W重建人界景存儲(chǔ)內(nèi)界時(shí)，組成RAID組的第二個(gè)磁盤、第三個(gè)磁盤出現(xiàn)故障的可能性會(huì)大大增加;在秉建過程中，一個(gè)磁盤故障明顯加人了其它磁盤的訪問負(fù)載，使得其它磁盤故晾出現(xiàn)的概率急劇增加，

5、較人的影響了存儲(chǔ)系統(tǒng)的可用性。針對(duì)傳統(tǒng)數(shù)據(jù)冗余僅護(hù)技術(shù)在人界景磁盤存儲(chǔ)系統(tǒng)屮所表現(xiàn)出的不足，以分布式、人規(guī)模、大容量磁盤存儲(chǔ)為特點(diǎn)的海量存儲(chǔ)系統(tǒng)屮出現(xiàn)了-?種更加高效的數(shù)據(jù)冗余技術(shù)——糾刪碼。云吋代的數(shù)據(jù)冗余保護(hù)機(jī)制——糾刪碼糾刪碼起源于通信傳輸領(lǐng)域，UI前逐漸出現(xiàn)在人規(guī)模存儲(chǔ)系統(tǒng)屮，特別是分布式存儲(chǔ)環(huán)境，用于實(shí)現(xiàn)數(shù)據(jù)的冗余保護(hù)。糾刪碼冗余保護(hù)技術(shù)解決了傳統(tǒng)冗余保護(hù)技術(shù)不適于分布式生產(chǎn)存儲(chǔ)系統(tǒng)的問題。糾刪碼技術(shù)菇本思想是將一份數(shù)裾劃分為k塊原始的數(shù)裾，葙于k塊原始數(shù)裾冗余計(jì)兌獲得m塊冗余數(shù)據(jù)。對(duì)于這k+m塊數(shù)據(jù)，其中任意的m塊元素岀錯(cuò)時(shí)，存儲(chǔ)系統(tǒng)均可以通過

6、重構(gòu)算法恢復(fù)出原來的k塊數(shù)據(jù)，如K圖所示。數(shù)裾糾刪碼機(jī)制ufii向云時(shí)代的冗余保護(hù)基于糾刪碼的方法與傳統(tǒng)的鏡像、副本技術(shù)相比，具有冗余度低、磁盤利川率高等優(yōu)點(diǎn)。針對(duì)云計(jì)算、人數(shù)據(jù)業(yè)務(wù)對(duì)海景存儲(chǔ)系統(tǒng)的多樣性、人規(guī)模存儲(chǔ)界量耑求，浪潮推出了面14云計(jì)算、人數(shù)裾的高性能、統(tǒng)一存儲(chǔ)系統(tǒng)AS13000,AS13000海朵存儲(chǔ)系統(tǒng)所采用糾刪碼技術(shù)能夠較好的適應(yīng)云計(jì)算數(shù)據(jù)的分布式存儲(chǔ)應(yīng)用環(huán)境。AS13000存儲(chǔ)系統(tǒng)支持N+M格式的糾刪碼，級(jí)別冇：N+l、N+2、N+3和N+4,在這種N+M數(shù)據(jù)模型屮，N代表原始數(shù)據(jù)塊數(shù)景，M代表在不發(fā)生數(shù)據(jù)X?失的前提P海暈存儲(chǔ)系統(tǒng)所允

7、許發(fā)生的同時(shí)故障的數(shù)據(jù)塊數(shù)H。如，N+2允許海景存儲(chǔ)屮丟失兩個(gè)數(shù)據(jù)塊、或者同時(shí)丟失兩個(gè)節(jié)點(diǎn)。如下圖。數(shù)拋糾刪碼機(jī)制:而I⑺云時(shí)代的冗余保護(hù)浪潮AS13000海量存儲(chǔ)系統(tǒng)支持文件多個(gè)副本冗余存儲(chǔ)，提高了數(shù)據(jù)持續(xù)可用性，但也會(huì)花費(fèi)三倍的存儲(chǔ)資源和運(yùn)營成木。針對(duì)云計(jì)算和大數(shù)裾應(yīng)川所要求的高效率的存儲(chǔ)耑求，浪潮AS13000海暈存儲(chǔ)系統(tǒng)融合了糾刪碼冗余保護(hù)機(jī)制，奮效地實(shí)現(xiàn)了更低的運(yùn)行成本，同時(shí)保證了海蕭數(shù)裾的存儲(chǔ)可靠性和持續(xù)可用性。采用糾刪碼冗余保護(hù)技術(shù)的AS13000海量存儲(chǔ)系統(tǒng)是面向云計(jì)算、大數(shù)據(jù)存儲(chǔ)需求而推出的新一代海量存儲(chǔ)系統(tǒng)，它整合了集群、網(wǎng)絡(luò)、分夼式文

8、件系統(tǒng)、分夼式SAN存儲(chǔ)系統(tǒng)、分布式對(duì)象存儲(chǔ)系統(tǒng)等高端存儲(chǔ)技術(shù)，能