分布式存儲系統(tǒng)中數(shù)據(jù)快速修復(fù)的糾刪碼

《分布式存儲系統(tǒng)中數(shù)據(jù)快速修復(fù)的糾刪碼》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、：，ｉｉ…分類號Ｄ２００９７７５９９學(xué)號一１０４８７．１學(xué)巧代巧密級＾辜個(gè)科敕巧１＃±學(xué)位論文分布式館織巾數(shù)據(jù)快速値的姻碼學(xué)位申請人：柳青學(xué)科專業(yè)：計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)ｉ指導(dǎo)教師：瀉丹教授ｊ＾ｍ答辯日期；２０１７年５月２１日、？１－－ｆ乂ＤｉｓｓｅｄａｄｏｎＳｕｂｍｉｔｅｄｉｎＰａｒｔｉａｌＦｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅＲｅｑｕｉｒｅｍｅｎｔｓｆｏｒｔｈｅＤｅｒｅｅｏｆＤｏｃｔｏｒｏｆＰｈｉｌｏｓｏｈｉｎ

2、ＥｎｉｎｅｅｒｉｎｇｐｙｇｇＥｒａｓｕｒｅＣｏｄｅｓｆｏｒＦａｓｔＤａｔａＲｅａｉｒｉｎｉｎｐｇＤｉｓｔ：ｒｉｂｕｔｅｄＳｔｏｒａｇｅＳｙｓｔｅｍｓＰｌｉ．Ｄ．Ｃａｎｄｉｄａｌ；ｅ：ＱｉｎＬｉｕｇＭａｏｒｕｔｅｒＡｒｃｈｉｔｅｃｔｕｒｅ：ＣｏｍｊｐＳｕｐｅｒｖｉｓｏｒ：Ｐｒｏｆ．ＤａｎＦｅｎｇＨｕａｚｈｏｎＵｎｉｖｅｒｓｉｔｏｆＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙｇｙＷｕｈａｎ４３００７４Ｐ．化Ｃｈｉｎａ，Ｍａｙ２０１７

3、，獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是我個(gè)人在導(dǎo)師的指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除文中已標(biāo)明引用的內(nèi)容外，本論文不包含任何其他人或集體己經(jīng)發(fā)表或撰寫過的研究成果。對本文的研究做出貢獻(xiàn)的個(gè)人和集體，均已在文中明確方式標(biāo)明。本人完全意識到本聲明的法律結(jié)果由本人承擔(dān)。學(xué)位論文儲簽備曰期：月ｆ＾學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué)校有權(quán)保留并向國家有關(guān)部鬥或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本

4、人授權(quán)華中科技大學(xué)可Ｗ將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可Ｗ采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。保密□＿，在年解密后適用本授權(quán)書。本論文屬于不保密＂＂（請?jiān)冢奚戏娇騼?nèi)打Ｖ）＾學(xué)位論文作者簽名指導(dǎo)教師簽名：曰期：＞＾ｙ日曰期：滬月曰＾下＾華中科技大學(xué)博壬學(xué)位論文摘要為防止因設(shè)備故障和網(wǎng)絡(luò)中斷而導(dǎo)致的數(shù)據(jù)不可用，糾刪碼廣泛地用于分布式存儲系統(tǒng)中保證數(shù)據(jù)可靠性；。傳統(tǒng)的糾刪碼會遇到修復(fù)開銷大的問題修復(fù)過程所需要的數(shù)據(jù)量遠(yuǎn)大于失效數(shù)

5、據(jù)量。大量的修復(fù)數(shù)據(jù)會消耗寶貴的磁盤Ｉ／Ｏ和網(wǎng)絡(luò)帶寬，一種不穩(wěn)定的窗口期并將系統(tǒng)長期暴露在，使得任何額外故障將可能導(dǎo)致不可恢復(fù)一的數(shù)據(jù)丟失，間接地降級了系統(tǒng)的可靠性些減少數(shù)據(jù)修。近期研究人員也提出了復(fù)開銷的糾刪碼，但它們或犧牲了最小存儲開銷等有益性質(zhì)，或只能應(yīng)用于某些特定的編碼系數(shù)上。另外，糾刪碼在數(shù)據(jù)編碼和數(shù)據(jù)修復(fù)時(shí)需要消耗大量的計(jì)算資源，如何減少計(jì)算開銷也是糾刪碼領(lǐng)域的研巧重點(diǎn)。本文對分布式存儲系統(tǒng)上數(shù)據(jù)快速修復(fù)的糾刪碼從兩個(gè)方面展開研究：構(gòu)建具有靈活參數(shù)、減少修復(fù)開銷的糾刪碼和

6、減少數(shù)據(jù)編碼和數(shù)據(jù)修復(fù)時(shí)的計(jì)算開銷。本文主要貢獻(xiàn)包括下王點(diǎn)：一一提出一ＧＦＲ碼類新的再生碼。ＧＦＲ碼通過個(gè)權(quán)衡參數(shù)實(shí)現(xiàn)分布式存儲系統(tǒng)中存儲開銷和修復(fù)開銷的權(quán)衡，使得其既可Ｗ達(dá)到理論最小存儲開銷、最小修復(fù)開銷一，也可Ｗ達(dá)到他們之間的平衡。ＧＦ艮碼還使用種啟發(fā)式算法尋找到修復(fù)單點(diǎn)失效數(shù)據(jù)的最小修復(fù)開銷一，并利用個(gè)闊值控制了啟發(fā)式算法中搜索空間和搜索時(shí)間的權(quán)衡。經(jīng)實(shí)驗(yàn)分析，基于ＧＦ民碼的分布式存儲系統(tǒng)比基于ＲＡ阻碼的系統(tǒng)具有更高的可靠性。ＧＦＲ碼在實(shí)際系統(tǒng)中可達(dá)到理論上最優(yōu)或近似最優(yōu)的修復(fù)開銷

7、，其數(shù)據(jù)編碼性能和ＦＭＳＲ碼相近。一提出種矩陣和數(shù)據(jù)塊在有限域上的快速乘法算法一預(yù)排移位乘法（ＳＳＭ）。預(yù)排移位乘法通過合理調(diào)度運(yùn)算順序，合并了在計(jì)算矩陣和數(shù)據(jù)塊乘法時(shí)的相同計(jì)算，減少了糾刪碼在有限域上數(shù)據(jù)編碼和數(shù)據(jù)修復(fù)時(shí)的計(jì)算開銷，。實(shí)驗(yàn)證明預(yù)排移位乘法比傳統(tǒng)算法具有更小的預(yù)測分支，預(yù)排移位乘法能提高ＲＳ編碼速度和提高ＧＦＲ．碼的數(shù)據(jù)編碼速度和數(shù)據(jù)修復(fù)速度。通過對ＧＦＲ碼修復(fù)性能分析，預(yù)排移位乘法對ＧＦ民碼修復(fù)開銷影響很小。一提出了類最小存儲開銷下最優(yōu)修復(fù)開銷的糾刪碼一Ｚ碼レ

8、ッ置換矩陣為。Ｚ碼元矩陣，可Ｗ組合構(gòu)造出具有最優(yōu)修復(fù)開銷的生成矩陣。Ｚ碼還利用矩陣的張量乘Ｉ華中科技大學(xué)博去學(xué)位論文積，可迭代地構(gòu)造出任意參數(shù)下的生成矩陣，并保持了其最優(yōu)修復(fù)開銷。另外，Ｚ碼是系統(tǒng)碼，因此數(shù)據(jù)編碼后原始數(shù)被保留。它們還具有更新開銷低和計(jì)算開銷小等優(yōu)點(diǎn)。Ｚ碼的參數(shù)選擇靈活，理論上可實(shí)現(xiàn)任意高的存儲效率和容錯(cuò)能力。ＧＺ碼ｔＵ是Ｚ碼在有限域上的擴(kuò)展