對(duì)象存儲(chǔ)系統(tǒng)中熱點(diǎn)數(shù)據(jù)的研究

《對(duì)象存儲(chǔ)系統(tǒng)中熱點(diǎn)數(shù)據(jù)的研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、華中科技大學(xué)博士學(xué)位論文摘要隨著計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展，用戶對(duì)數(shù)據(jù)需求的不斷增加，這給網(wǎng)絡(luò)存儲(chǔ)技術(shù)的發(fā)展帶來了機(jī)遇，同時(shí)也使分布式存儲(chǔ)系統(tǒng)面臨越來越多的挑戰(zhàn)。在眾多的挑戰(zhàn)中，如何提高存儲(chǔ)系統(tǒng)I/O性能和如何管理大規(guī)模復(fù)雜存儲(chǔ)系統(tǒng)是擺在很多公司企業(yè)和科研機(jī)構(gòu)面前的兩大難題。一方面，代表用戶需求的熱點(diǎn)數(shù)據(jù)，是解決存儲(chǔ)系統(tǒng)I/O性能難題的鑰匙，但是，當(dāng)前熱點(diǎn)數(shù)據(jù)在存儲(chǔ)系統(tǒng)中并沒有得到最大限度地利用，也沒有全面而系統(tǒng)地分析，導(dǎo)致整個(gè)存儲(chǔ)系統(tǒng)的性能并沒有得到最大程度地提升。另一方面，隨著存儲(chǔ)系統(tǒng)的日益復(fù)雜，傳統(tǒng)的人

2、工管理方式已經(jīng)不適應(yīng)現(xiàn)代存儲(chǔ)技術(shù)的要求，如何把用戶的需求傳達(dá)給存儲(chǔ)系統(tǒng)，讓大規(guī)模存儲(chǔ)系統(tǒng)自適應(yīng)管理也成為一個(gè)重要的課題。對(duì)象存儲(chǔ)和屬性管理技術(shù)的出現(xiàn)讓上述兩個(gè)難題有了解決的可能。在對(duì)象存儲(chǔ)系統(tǒng)中，對(duì)象代替?zhèn)鹘y(tǒng)意義的文件，擁有更豐富的語義內(nèi)容，能夠傳遞更多熱點(diǎn)數(shù)據(jù)的相關(guān)信息；結(jié)合屬性管理技術(shù)，分析用戶的需求和數(shù)據(jù)訪問特征，提煉出與熱點(diǎn)數(shù)據(jù)相關(guān)的屬性，可以實(shí)現(xiàn)對(duì)存儲(chǔ)系統(tǒng)進(jìn)行自適應(yīng)管理并提高系統(tǒng)的性能。為此，本文首先提出了基于熱點(diǎn)數(shù)據(jù)系統(tǒng)級(jí)的解決方案――對(duì)實(shí)際應(yīng)用的熱點(diǎn)現(xiàn)象進(jìn)行分析，然后根據(jù)實(shí)際應(yīng)用中的熱點(diǎn)數(shù)

3、據(jù)訪問特征，率先提出了對(duì)象存儲(chǔ)系統(tǒng)中熱點(diǎn)的定義和分類，結(jié)合T10OSD-3標(biāo)準(zhǔn)建立熱點(diǎn)屬性頁，并針對(duì)不同應(yīng)用和負(fù)載給出了基于熱點(diǎn)的動(dòng)態(tài)數(shù)據(jù)組織策略和服務(wù)質(zhì)量保證。其次，針對(duì)存儲(chǔ)系統(tǒng)中熱點(diǎn)預(yù)測(cè)及單級(jí)Cache中存在的問題，結(jié)合熱點(diǎn)數(shù)據(jù)的訪問特征和類Zipf定律，給出了一個(gè)全新的熱點(diǎn)預(yù)測(cè)方法――對(duì)象熱點(diǎn)預(yù)測(cè)模型OHPM。并根據(jù)階段性熱點(diǎn)的特點(diǎn)，加入了訪問頻率增長(zhǎng)率來預(yù)測(cè)階段性熱點(diǎn)以作為其補(bǔ)充。根據(jù)兩種熱點(diǎn)對(duì)象截然不同的數(shù)據(jù)訪問特征，給出了基于熱點(diǎn)的單級(jí)Cache策略――采用雙Cache棧的方式并實(shí)現(xiàn)自適應(yīng)管

4、理。并對(duì)熱點(diǎn)命中率和時(shí)間粒度的參數(shù)問題進(jìn)行了討論。再次，由于對(duì)象存儲(chǔ)系統(tǒng)中啟動(dòng)器和目標(biāo)器已然構(gòu)成多級(jí)Cache系統(tǒng)，針對(duì)當(dāng)前多級(jí)Cache數(shù)據(jù)隱示中存在的普遍問題，提出了一個(gè)創(chuàng)新性的解決方案――基于K步數(shù)據(jù)隱示的多級(jí)Cache算法（Hint-K）。Hint-K算法充分運(yùn)用了升級(jí)隱示和降級(jí)隱示的歷史信息，并可利用K步數(shù)據(jù)隱示值來簡(jiǎn)單判斷一個(gè)數(shù)據(jù)塊的活躍程度。并給出K在不同情況下Hint-K算法的實(shí)例分析。I華中科技大學(xué)博士學(xué)位論文最后設(shè)計(jì)并實(shí)現(xiàn)了原型系統(tǒng)――熱點(diǎn)屬性管理的存儲(chǔ)系統(tǒng)HASS，通過實(shí)施基于熱點(diǎn)

5、的動(dòng)態(tài)數(shù)據(jù)組織和服務(wù)質(zhì)量保證（HO）、對(duì)象熱點(diǎn)預(yù)測(cè)（HP）和單級(jí)Cache策略（HC），系統(tǒng)的性能提高了62%并降低了25%的I/O操作。在不同負(fù)載下的多級(jí)Cache仿真測(cè)試中，Hint-K實(shí)現(xiàn)了比其它多級(jí)Cache算法（如MQ、DEMOTE和PROMOTE算法）更加優(yōu)異的性能。關(guān)鍵詞：存儲(chǔ)系統(tǒng)，對(duì)象存儲(chǔ)，熱點(diǎn)，屬性管理，緩存，數(shù)據(jù)組織，服務(wù)質(zhì)量保證，數(shù)據(jù)隱示，I/O性能II華中科技大學(xué)博士學(xué)位論文AbstractWiththerapiddevelopmentofcomputernetworkandth

6、eincreasingdatarequirementsbyusers,itbringsmoreopportunitiestoadvancenetworkstoragetechnology,whiledis-tributedstoragesystemshavetofacemoreandmorechallenges.Inthesechallenges,howtoimprovetheI/Operformanceofstoragesystemsandhowtomanagelarge-scalecomplexst

7、oragesystems,whicharetwomajorproblemsplacedinfrontofmanycompaniesandre-searchinstitutes.Ononehand,hotspotdatarepresenttheusers’behaviors,whicharethekeytosolvetheproblemonI/Operformanceofstoragesystems.However,hotspotdataarenotmademaximumuseinstoragesyste

8、msnowadays,whicharenotgivenacomprehensiveandsystematicanalysis,either.Thesereasonsmakestheoverallperformanceofstoragesystemhaven’tbeenimprovedtotally.Ontheotherhand,withtheincreasingcomplexityofstoragesystems,thetraditiona