資源描述:
《列存儲系統(tǒng)面向列的連接順序優(yōu)化研究-論文.pdf》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、計算機研究與發(fā)展ISSN1000—1239/CN11-1777門rPJournalofComputerResearchandDevelopment5O(7):1473-1483,2O13列存儲系統(tǒng)面向列的連接順序優(yōu)化研究王梅陸戌辰樂嘉錦(東華大學計算機科學與技術(shù)學院上海201620)(wangmei@dhu.edu.cn)Column—OrientedJoinOrderOptimizationinColumnStoreSystemsWangMei,LuXuchen。andLeJiajin(CollegeofComputerScienceandTechnology,DonghuaUniver
2、sity,Shanghai201620)AbstractJoinisoneofthemostimportantoperationswhichcanlargelyaffecttheefficiencyofcolumnstorebasedqueries.Mostworkoncolumn—storesisfocusedontheimprovingofstoragestructureandthebuildingofphysicalauxiliarystructures,whilethelogicalplanoptimization,especiallyearlyjoinstrategyoptimi
3、zation,hasseldombeenconsideredOnthebasisofthisproblem,thispaperpresentsanewjoinstrategyoptimizationmethodaccordingtothecharacteristicofcolumn—orientedstoragestructureandanalyticalquery.Weadopttheearlyoptimizationstrategyinourmethodandproposea“facttablepush—down”rule.Inparticular,thebushytreestruct
4、urewillbeconsideredinthemulti—fact—tablecasetoreceivea“best”oinpathwithsmal1timeandspacecomplexity.Thenweprovideacostestimationtoverifythecorrectnessoftheproposedjoinstrategyoptimizationmethod.Finally,experimentalresultsonthelarge—scaledatawarehousebenchmarkdatasetsSSBalsoverifytheeffectivenessoft
5、heearlyoptimizationstrategyandtheproposedpush—downrI】】e.Kevwordsdatabase;columnstore;queryoptimization;joinstrategy;rule—basedoptimization(RBO)摘要連接操作是影響列存儲數(shù)據(jù)查詢效率的重要操作之一.對于列存儲系統(tǒng)中的連接操作優(yōu)化,以往的研究工作大多專注于對數(shù)據(jù)組織結(jié)構(gòu)的優(yōu)化以及輔助物理結(jié)構(gòu)的建立上,極少涉及邏輯層特別是早期的連接策略優(yōu)化.為此,根據(jù)列存儲數(shù)據(jù)的特點和分析型查詢需求的特征,提出了一種新的列存儲連接優(yōu)化方法.該方法采用提早優(yōu)化的策略,使用“
6、事實表下推”的優(yōu)化規(guī)則,并在多事實表查詢條件下引入濃密樹進行連接順序決策,以較小的時空復雜度獲得“最優(yōu)”的連接執(zhí)行順序.使用代價估計模型對提出的連接策略優(yōu)化方法進行了理論驗證.同時,在大規(guī)模數(shù)據(jù)倉庫基準數(shù)據(jù)集SSB上通過實驗驗證了提早優(yōu)化機制及下推規(guī)則的有效性.關(guān)鍵詞數(shù)據(jù)庫;列存儲;查詢優(yōu)化;連接策略;規(guī)則優(yōu)化中圈法分類號TP311.1隨著信息時代數(shù)據(jù)量的爆炸式增長,在海量數(shù)數(shù)據(jù)量大、查詢密集、更加關(guān)注對屬性而非實體的處據(jù)分析處理的需求驅(qū)動下,數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、決理.列存儲技術(shù)在物理上以列為單位對數(shù)據(jù)表進策支持等分析型應用迅速發(fā)展.此類應用的特點是行拆分,將相同列的數(shù)據(jù)連續(xù)存儲,在查詢過
7、程中只收稿日期:2011O6—21;修回日期:2012-10—23基金項目:“核高基”國家科技重大專項基金項目(2010ZX01042—001—003—004);國家自然科學基金項目(61070031,61070032,6l103046);上海市自然科學基金項目(11ZR1401200)計算機研究與發(fā)展2013,5O(7)(a)中相應的JOIN節(jié)點內(nèi),記錄相關(guān)異表條件連接略:將選擇性最優(yōu)的節(jié)點交換到單表查詢子樹最左的集合