資源描述:
《關(guān)于rs糾刪碼的數(shù)據(jù)冗余策略》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、哈爾濱工程大學(xué)學(xué)位論文原創(chuàng)性聲明本人鄭重聲明:本論文的所有工作,是在導(dǎo)師的指導(dǎo)下,由作者本人獨立完成的。有關(guān)觀點、方法、數(shù)據(jù)和文獻的引用已在文中指出,并與參考文獻相對應(yīng)。除文中已注明引用的內(nèi)容外,本論文不包含任何其他個人或集體已經(jīng)公開發(fā)表的作品成果。對本文的研究做出重要貢獻的個人和集體,均已在文中以明確方式標明。本人完全意識到本聲明的法律結(jié)果由本人承擔(dān)。作者(簽字):日期:年月日哈爾濱工程大學(xué)學(xué)位論文授權(quán)使用聲明本人完全了解學(xué)校保護知識產(chǎn)權(quán)的有關(guān)規(guī)定,即研究生在校攻讀學(xué)位期間論文工作的知識產(chǎn)權(quán)屬于哈爾濱工程大學(xué)。哈爾濱工程大
2、學(xué)有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件。本人允許哈爾濱工程大學(xué)將論文的部分或全部內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索,可采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文,可以公布論文的全部內(nèi)容。同時本人保證畢業(yè)后結(jié)合學(xué)位論文研究課題再撰寫的論文一律注明作者第一署名單位為哈爾濱工程大學(xué)。涉密學(xué)位論文待解密后適用本聲明。本論文(□在授予學(xué)位后即可□在授予學(xué)位12個月后□解密后)由哈爾濱工程大學(xué)送交有關(guān)部門進行保存、匯編等。作者(簽字):導(dǎo)師(簽字):日期:年月日年月日基于RS糾刪碼的數(shù)據(jù)冗余策略摘要由于遠程教育、教育資源共享是
3、面向數(shù)據(jù)網(wǎng)絡(luò)體系結(jié)構(gòu)的,人們對教育資源的可靠性、訪問效率提出了很高的要求。教育資源的特點是對于較新的資源數(shù)據(jù),往往訪問量較大,而對于歷史資源數(shù)據(jù),訪問量很小,數(shù)據(jù)可靠性要求不高,二者的數(shù)據(jù)可用性要求差異較大。本文詳細分析研究糾刪碼技術(shù)的編解碼原理、分類及在數(shù)據(jù)冗余方面的應(yīng)用,并分析分布式文件系統(tǒng)(HDFS)的相關(guān)理論知識以及數(shù)據(jù)冗余策略的功能與分類。根據(jù)教育資源管理的特點,不同時期的教育資源訪問量差異較大,繼而二者的數(shù)據(jù)可用性要求較大,而傳統(tǒng)系統(tǒng)中數(shù)據(jù)冗余策略采用默認的3副本冗余策略,存在存儲開銷過高,節(jié)點負載不均衡的問題,
4、為了解決以上問題,提出基于RS糾刪碼的動態(tài)副本放置策略。首先,針對教育資源數(shù)據(jù)的特點,將默認的3副本冗余策略調(diào)整為根據(jù)訪問量計算熱度,參照熱度級別,實時調(diào)整文件副本數(shù)量。解決了高訪問量所帶來的節(jié)點負載不均衡和存儲空間浪費的問題。改進文件熱度計算公式,將影響到文件熱度的文件歷史訪問量引入公式計算中,使得熱度閥值的計算更符合教育資源的特點。其次,為了解決熱度較低的文件占用較多存儲空間的問題,引入RS糾刪碼,利用RS糾刪碼對熱度低的文件進行編碼存儲,使得編碼后的文件具有較高的可用性,同時降低了存儲空間的消耗。最后,針對資源抖動和復(fù)
5、制滯后帶來頻繁無效操作的問題,提出基于灰色預(yù)測系統(tǒng)預(yù)測模型的副本冗余策略。利用灰色系統(tǒng)的預(yù)測性,由歷史訪問量數(shù)據(jù)通過預(yù)測模型建模得到預(yù)測訪問量數(shù)據(jù),進而計算得到文件響應(yīng)熱度,實現(xiàn)副本數(shù)量調(diào)整的提前性。針對教育資源的特點,經(jīng)數(shù)據(jù)分析、實驗驗證,對RS碼相關(guān)關(guān)鍵參數(shù)適當(dāng)?shù)剡x取設(shè)定。本文利用MATLAB,根據(jù)文件的歷史訪問量對文件下一周期的訪問量進行預(yù)測處理,并通過仿真實驗,對所提出的策略進行驗證分析。實驗結(jié)果表明本文所提出的策略可以提高系統(tǒng)數(shù)據(jù)的可靠性、可用性,并有效地減少了存儲空間的開銷。由此驗證了本文所提出的策略在處理教育資
6、源數(shù)據(jù)冗余問題時的有效性。關(guān)鍵詞:教育資源管理;副本放置;RS糾刪碼;熱度;預(yù)測哈爾濱工程大學(xué)碩士學(xué)位論文基于RS糾刪碼的數(shù)據(jù)冗余策略AbstractDuetothedistanceeducationandeducationresourcesharingarebasedonthedatanetworkstructure,moreconvenientandhighlyefficienteducationresourcesarestillurgentlydesired.Thecharacteristicsofeducationr
7、esourcesisthatthevisitamountislargerfortheresourcewhichisrelativelynew,butthetrafficisverysmallforhistoricalresourcedatawhichreliabilityofdataisnothigh.Thetwodataavailabilityrequirequitedifferent.Thispaperanalyzestheprincipleandclassificationoferasurecodesindetail.
8、Inthispaper,theapplicationoferasurecodesindataredundancyisalsoresearchedindetail.Atthesametime,itintroducestherelevanttheoreticalknowledgeofHDFSa