關(guān)于rs糾刪碼的數(shù)據(jù)冗余策略

《關(guān)于rs糾刪碼的數(shù)據(jù)冗余策略》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、哈爾濱工程大學(xué)學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：本論文的所有工作，是在導(dǎo)師的指導(dǎo)下，由作者本人獨(dú)立完成的。有關(guān)觀點(diǎn)、方法、數(shù)據(jù)和文獻(xiàn)的引用已在文中指出，并與參考文獻(xiàn)相對(duì)應(yīng)。除文中已注明引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體已經(jīng)公開(kāi)發(fā)表的作品成果。對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本人完全意識(shí)到本聲明的法律結(jié)果由本人承擔(dān)。作者（簽字）：日期：年月日哈爾濱工程大學(xué)學(xué)位論文授權(quán)使用聲明本人完全了解學(xué)校保護(hù)知識(shí)產(chǎn)權(quán)的有關(guān)規(guī)定，即研究生在校攻讀學(xué)位期間論文工作的知識(shí)產(chǎn)權(quán)屬于哈爾濱工程大學(xué)。哈爾濱工程大

2、學(xué)有權(quán)保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件。本人允許哈爾濱工程大學(xué)將論文的部分或全部?jī)?nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文，可以公布論文的全部?jī)?nèi)容。同時(shí)本人保證畢業(yè)后結(jié)合學(xué)位論文研究課題再撰寫(xiě)的論文一律注明作者第一署名單位為哈爾濱工程大學(xué)。涉密學(xué)位論文待解密后適用本聲明。本論文（□在授予學(xué)位后即可□在授予學(xué)位12個(gè)月后□解密后）由哈爾濱工程大學(xué)送交有關(guān)部門進(jìn)行保存、匯編等。作者（簽字）：導(dǎo)師（簽字）：日期：年月日年月日基于RS糾刪碼的數(shù)據(jù)冗余策略摘要由于遠(yuǎn)程教育、教育資源共享是

3、面向數(shù)據(jù)網(wǎng)絡(luò)體系結(jié)構(gòu)的，人們對(duì)教育資源的可靠性、訪問(wèn)效率提出了很高的要求。教育資源的特點(diǎn)是對(duì)于較新的資源數(shù)據(jù)，往往訪問(wèn)量較大，而對(duì)于歷史資源數(shù)據(jù)，訪問(wèn)量很小，數(shù)據(jù)可靠性要求不高，二者的數(shù)據(jù)可用性要求差異較大。本文詳細(xì)分析研究糾刪碼技術(shù)的編解碼原理、分類及在數(shù)據(jù)冗余方面的應(yīng)用，并分析分布式文件系統(tǒng)（HDFS）的相關(guān)理論知識(shí)以及數(shù)據(jù)冗余策略的功能與分類。根據(jù)教育資源管理的特點(diǎn)，不同時(shí)期的教育資源訪問(wèn)量差異較大，繼而二者的數(shù)據(jù)可用性要求較大，而傳統(tǒng)系統(tǒng)中數(shù)據(jù)冗余策略采用默認(rèn)的3副本冗余策略，存在存儲(chǔ)開(kāi)銷過(guò)高，節(jié)點(diǎn)負(fù)載不均衡的問(wèn)題，

4、為了解決以上問(wèn)題，提出基于RS糾刪碼的動(dòng)態(tài)副本放置策略。首先，針對(duì)教育資源數(shù)據(jù)的特點(diǎn)，將默認(rèn)的3副本冗余策略調(diào)整為根據(jù)訪問(wèn)量計(jì)算熱度，參照熱度級(jí)別，實(shí)時(shí)調(diào)整文件副本數(shù)量。解決了高訪問(wèn)量所帶來(lái)的節(jié)點(diǎn)負(fù)載不均衡和存儲(chǔ)空間浪費(fèi)的問(wèn)題。改進(jìn)文件熱度計(jì)算公式，將影響到文件熱度的文件歷史訪問(wèn)量引入公式計(jì)算中，使得熱度閥值的計(jì)算更符合教育資源的特點(diǎn)。其次，為了解決熱度較低的文件占用較多存儲(chǔ)空間的問(wèn)題，引入RS糾刪碼，利用RS糾刪碼對(duì)熱度低的文件進(jìn)行編碼存儲(chǔ)，使得編碼后的文件具有較高的可用性，同時(shí)降低了存儲(chǔ)空間的消耗。最后，針對(duì)資源抖動(dòng)和復(fù)

5、制滯后帶來(lái)頻繁無(wú)效操作的問(wèn)題，提出基于灰色預(yù)測(cè)系統(tǒng)預(yù)測(cè)模型的副本冗余策略。利用灰色系統(tǒng)的預(yù)測(cè)性，由歷史訪問(wèn)量數(shù)據(jù)通過(guò)預(yù)測(cè)模型建模得到預(yù)測(cè)訪問(wèn)量數(shù)據(jù)，進(jìn)而計(jì)算得到文件響應(yīng)熱度，實(shí)現(xiàn)副本數(shù)量調(diào)整的提前性。針對(duì)教育資源的特點(diǎn)，經(jīng)數(shù)據(jù)分析、實(shí)驗(yàn)驗(yàn)證，對(duì)RS碼相關(guān)關(guān)鍵參數(shù)適當(dāng)?shù)剡x取設(shè)定。本文利用MATLAB，根據(jù)文件的歷史訪問(wèn)量對(duì)文件下一周期的訪問(wèn)量進(jìn)行預(yù)測(cè)處理，并通過(guò)仿真實(shí)驗(yàn)，對(duì)所提出的策略進(jìn)行驗(yàn)證分析。實(shí)驗(yàn)結(jié)果表明本文所提出的策略可以提高系統(tǒng)數(shù)據(jù)的可靠性、可用性，并有效地減少了存儲(chǔ)空間的開(kāi)銷。由此驗(yàn)證了本文所提出的策略在處理教育資

6、源數(shù)據(jù)冗余問(wèn)題時(shí)的有效性。關(guān)鍵詞：教育資源管理；副本放置；RS糾刪碼；熱度；預(yù)測(cè)哈爾濱工程大學(xué)碩士學(xué)位論文基于RS糾刪碼的數(shù)據(jù)冗余策略AbstractDuetothedistanceeducationandeducationresourcesharingarebasedonthedatanetworkstructure,moreconvenientandhighlyefficienteducationresourcesarestillurgentlydesired.Thecharacteristicsofeducationr

7、esourcesisthatthevisitamountislargerfortheresourcewhichisrelativelynew,butthetrafficisverysmallforhistoricalresourcedatawhichreliabilityofdataisnothigh.Thetwodataavailabilityrequirequitedifferent.Thispaperanalyzestheprincipleandclassificationoferasurecodesindetail.

8、Inthispaper,theapplicationoferasurecodesindataredundancyisalsoresearchedindetail.Atthesametime,itintroducestherelevanttheoreticalknowledgeofHDFSa