數(shù)據(jù)倉庫性能優(yōu)化之物化視圖選擇算法研究

《數(shù)據(jù)倉庫性能優(yōu)化之物化視圖選擇算法研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、湖北3-業(yè)大學(xué)碩士學(xué)位論文摘要數(shù)據(jù)倉庫的構(gòu)建是一個復(fù)雜，龐大，循環(huán)往復(fù)的過程。要構(gòu)建一個優(yōu)秀的數(shù)據(jù)倉庫平臺涉及到很多技術(shù)，需要考慮很多方面。本文就數(shù)據(jù)倉庫中的優(yōu)化問題提出探討。本文首先介紹一些常用的優(yōu)化技術(shù)，如數(shù)據(jù)抽取中的優(yōu)化策略，物理建模中可以利用的分區(qū)和索引技術(shù)等。然后引出本文的核心研究內(nèi)容一一物化視圖的選擇。聯(lián)機分析處理的難題是，在海量的數(shù)據(jù)中要對用戶的復(fù)雜查詢做出快速的響應(yīng)。而物化視圖由于它的靈活性，響應(yīng)時間短，方便維護等優(yōu)勢，正好解決了這一難題。物化視圖的本質(zhì)是以犧牲存儲空問和維護代價來換取快速響應(yīng)時間。由于存

2、儲空間的限制，如何在有限的空間中選擇視圖進行物化，以達到最高效率的查詢，是本文研究的主要內(nèi)容。接著就目前常用的物化視圖選擇算法之一，遺傳算法提出討論。分析了它的不足和應(yīng)用的局限性，并提出了一種改進的算法：一般遺傳算法和模擬退火算法相結(jié)合的遺傳退火算法。該算法充分利用一般遺傳算法的全局把握能力強和模擬退火算法的局部搜索能力強的特點。同時提出了物化視圖選擇的代價模型，這種代價模型充分的考慮到了物化視圖在選擇時的查詢代價和維護代價。最后利用遺傳退火算法的思想，結(jié)合代價模型，具體的闡述了物化視圖的選擇過程。在物化視圖的具體選擇過

3、程中，本文還引入了多項式求解約束的思想，來解決選擇過程中產(chǎn)生的無用解。最后，本文引入了物化視圖的動態(tài)調(diào)整。由于常見的視圖選擇方法都是基于用戶事先提出查詢，而且查詢分布均勻，并長久不變的情況。但是在大型的數(shù)據(jù)倉庫項目中，用戶不可能一下提出所有的查詢需求，而且隨著時間推移，用戶的查詢需求也會發(fā)生改變。而推翻以前的物化視圖，重新進行物化視圖選擇的代價是相當大的i而且也不是即時的。所以本文提出一個比較全面的動態(tài)調(diào)整方案。結(jié)合物化視圖的收益模型和調(diào)整時機，該方案不僅能夠及時的調(diào)整物化視圖，還能夠防止由于頻繁更新物化視圖集合而帶來的

4、負面影響。并且通過實驗驗證了方案的有效性。關(guān)鍵詞：數(shù)據(jù)倉庫，優(yōu)化，物化視圖選擇，遺傳退火算法，動態(tài)調(diào)整湖北工業(yè)大學(xué)碩士學(xué)位論文AbstractConstructionofDataWarehouseiSacomplex．hugeprocess．Tobuildanexcellentdatawarehouseplatforminvolvesalotoftechnology．Wbneedtoconsidermanyaspects．Inthispaper,wewilldiscussthetopicofdatawarehouse’S

5、optimization．Atfirst，thispaperintroducessomecommonoptimizationtechniques，suchasoptimizationstrategyofdatacollected，thepartitionandindexingtechnologyusedinphysicalmodeling．Thenweintroducethecoreresearch：MaterializedViewSelection．Thekeyproblemofonlineanalyticalproc

6、essingishowtogetarapidresponsetousers’queryinafloodofdata．BecauseMaterializedViewhasadvantagesofflexibility,quickresponse，easytomaintain，andSOon，itiustsolvestheproblem．TheessenceofMaterializedViewistosacrificethestoragespaceandmaintenancecostsinexchangeforfasterr

7、esponsetime．Becauseofstoragespace’Srestrictions，howtochooseviewstobematerializedinalimitedspacetoachievemaximumefficiencyisthemaincontentofthispaper．Insuccession，thePaperdiscussesthecurrentcommonlyusedalgorithmofMaterializedView,GeneticAlgorithms．ItanalysesGeneti

8、cAlgorithms’shortcomingsandlimitationsoftheapplicationandputforwardanimprovedalgorithm：combinationofgeneticalgorithmsandsimulatedannealingalgorithm，GeneticAnne