基于列存儲的數(shù)據(jù)復用研究與實現(xiàn)

《基于列存儲的數(shù)據(jù)復用研究與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。

1、學校代碼：10255學號-i2111485基于列存儲的數(shù)據(jù)復用研究與實現(xiàn)ResearchandImplementationofDataReusingStrategyinColumn．storeDataWarehouse學科專業(yè)：計算機應用技術(shù)作者：周嬌玲指導教師：王梅答辯日期：2014年1月東華大學計算機科學與技術(shù)學院SchoolofComputerScienceandTechnologyDonghuaUniversity東華大學學位論文原創(chuàng)性聲日月f煳嬲本人鄭重聲明：我恪守學術(shù)道德，崇尚嚴謹學風。所呈交的學位論文，是本人在導師的指導下，獨立進行研究工作所取得的成果。除文中已

2、明確注明和引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫過的作品及成果的內(nèi)容。論文為本人親自撰寫，我對所寫的內(nèi)容負責，并完全意識到本聲明的法律結(jié)果由本人承擔。學位論文作者簽名：同嘶鈴日期：如怍年1月7日東華大學學位論文版權(quán)使用授權(quán)書學位論文作者完全了解學校有關(guān)保留、使用學位論文的規(guī)定，同意學校保留并向國家有關(guān)部門或機構(gòu)送交論文的復印件和電子版，允許論文被查閱或借閱。本人授權(quán)東華大學可以將本學位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復制手段保存和匯編本學位論文。保密口，在——年解密后適用本版權(quán)書。本學位論文屬于不保密“學位論文作者簽名

3、：同嬌論日期：20陴年f月．7Et指導教師簽名：尋桕日期：咖，以年，月7日基于列存儲的數(shù)據(jù)復用研究與實現(xiàn)摘要隨著互聯(lián)網(wǎng)的興起與飛速發(fā)展，大量的信息迎面而來，如何用科學的方法整理數(shù)據(jù)，從而從不同的視角對各方面信息進行準確判斷，比以往更為迫切，更受關(guān)注。數(shù)據(jù)倉庫作為數(shù)據(jù)集成的框架之一，是解決大數(shù)據(jù)環(huán)境下分析型應用問題的有效手段。數(shù)據(jù)集成中不同數(shù)據(jù)集之間存在較大的冗余，需要的存儲較多，對查詢響應速度的影響也較大。數(shù)據(jù)倉庫往往需要采用數(shù)據(jù)復用策略使得分析大量數(shù)據(jù)的成本趨于合理。在傳統(tǒng)的關(guān)系型數(shù)據(jù)倉庫中，數(shù)據(jù)均是按行存儲的。遺憾的是，由于不同數(shù)據(jù)集中關(guān)系表的模式在存儲層次上往往不相同，

4、彼此之間的冗余度很小，導致按行存儲的數(shù)據(jù)存儲方式并不利于數(shù)據(jù)復用的實現(xiàn)。列存儲數(shù)據(jù)倉庫中，操作的對象變?yōu)榱?，屬性之間的冗余度較大，從而消除了行存儲數(shù)據(jù)倉庫在數(shù)據(jù)復用領(lǐng)域的不利條件。為此，本文對如何將數(shù)據(jù)復用有效地融入到列存儲數(shù)據(jù)倉庫中進行了研究。1．首先，論文闡述了海量數(shù)據(jù)環(huán)境下數(shù)據(jù)復用的重要意義，并對數(shù)據(jù)復用技術(shù)的發(fā)展歷程和國內(nèi)；'t-N存儲數(shù)據(jù)倉庫中關(guān)于數(shù)據(jù)復用的現(xiàn)狀進行了分析，總結(jié)了它們的特征和不足之處。2．然后，論文對列存儲數(shù)據(jù)倉庫中數(shù)據(jù)復用的核心元素進行了簡單地介紹，其中包括數(shù)據(jù)復用策略的概述，可復用數(shù)據(jù)的定義，查詢結(jié)果的等價原則等。T3．隨后，本文深入研究了列存儲

5、數(shù)據(jù)復用策略的結(jié)構(gòu)設(shè)計，其數(shù)據(jù)復用策略主要由候選可復用數(shù)據(jù)發(fā)掘模塊、可復用數(shù)據(jù)篩選模塊、基于存儲的數(shù)據(jù)復用實現(xiàn)模塊和基于可復用數(shù)據(jù)的查詢執(zhí)行模塊四個模塊組成。其中，候選可復用數(shù)據(jù)發(fā)掘模塊描述了海量數(shù)據(jù)中利用CM模式匹配算法快速尋找候選映射關(guān)系的合理方案；可復用數(shù)據(jù)篩選模塊則根據(jù)映候選映射關(guān)系對屬性值進行逐一匹配，得到確定的可復用數(shù)據(jù)，這是數(shù)據(jù)復用實現(xiàn)的必要保證；基于存儲的數(shù)據(jù)復用實現(xiàn)模塊則封裝了具體復用的細節(jié)，并負責對外提供數(shù)據(jù)訪問的統(tǒng)一接口；查詢執(zhí)行模塊對傳統(tǒng)查詢執(zhí)行流程進行了相應的改進，從而了在可復用數(shù)據(jù)的基礎(chǔ)上實現(xiàn)SQL語句的直接查詢。4．最后，本文以DWMS為平臺，分

6、別以真實數(shù)據(jù)集和基準數(shù)據(jù)集為測試數(shù)據(jù)，具體實現(xiàn)了上述各項關(guān)鍵技術(shù)。通過對相關(guān)的性能測試結(jié)果進行對比分析，驗證了本文所述內(nèi)容的正確性和有效性。在處理海量數(shù)據(jù)時，數(shù)據(jù)復用在減少列存儲數(shù)據(jù)倉庫存儲規(guī)模的同時，還進一步優(yōu)化了系統(tǒng)的查詢性能。關(guān)鍵詞：數(shù)據(jù)集成；數(shù)據(jù)倉庫；列存儲；數(shù)據(jù)復用；可復用數(shù)據(jù)RESEARCHANDIM呼LEM哐NTATIoNoFDATAREUSINGSTRATEGⅣINCOLUM烈．STOREDATA、7I以眥HOUSEABSTRACTWiththehighdevelopmentoftheInternet，wearefacingthelargeamountofin

7、formationanddata．It、Surgenttointegratetheexistinginformation．Atthesametime，howtoorganizedatausingscientificmethodsandaccuratelyanalyzebusinessinformationfromdifferentperspectivesismoreurgentthanever．Asoneofthedataintegrationframeworks，datawarehousehasbro