資源描述:
《基于元數(shù)據(jù)驅(qū)動的企業(yè)級數(shù)據(jù)倉庫系統(tǒng)-論文.pdf》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、2015年第24卷第2期http://www.c-S—a.org.ca計(jì)算機(jī)系統(tǒng)應(yīng)用基于元數(shù)據(jù)驅(qū)動的企業(yè)級數(shù)據(jù)倉庫系統(tǒng)①欒曉宇f上海煙草集團(tuán)有限責(zé)任公司經(jīng)濟(jì)信息中心,上海200082)摘要:通過對元數(shù)據(jù)建設(shè)和維護(hù)及其管理系統(tǒng)結(jié)構(gòu)的深入研究,提出一種基于元數(shù)據(jù)驅(qū)動的企業(yè)級數(shù)據(jù)倉庫系統(tǒng)架構(gòu).該系統(tǒng)架構(gòu)采用關(guān)系模型數(shù)據(jù)結(jié)構(gòu),并通過元數(shù)據(jù)接口和元數(shù)據(jù)驅(qū)動引擎的設(shè)計(jì)開發(fā)將數(shù)據(jù)倉庫中各模塊的反饋信息與其元數(shù)據(jù)存儲進(jìn)行交互,實(shí)現(xiàn)由元數(shù)據(jù)驅(qū)動數(shù)據(jù)倉庫系統(tǒng)的運(yùn)作機(jī)制,解決了一直以來元數(shù)據(jù)難以更新維護(hù)、數(shù)據(jù)質(zhì)量檢查效率低的問題,提升了對企業(yè)級數(shù)據(jù)倉庫
2、的管控能力.關(guān)鍵詞:元數(shù)據(jù)驅(qū)動;數(shù)據(jù)倉庫;ETL;數(shù)據(jù)搜索引擎;數(shù)據(jù)質(zhì)量EnterpriseDatarehouseSystemBasedonMetadata.DrivenLUANXiao.Y_u(ShanghaiTobaccoGroupCo.,Ltd.,EconomicInformationCenter,Shanghai200082,China)Abstract:Basedonin·depthstudyoftheconstructionandmaintenanceofmetadataanditsmanagementsystemst
3、ructure,thispaperpresentsametadatadrivenenterprisedatawarehousesystemarchitecture.Relationalmodeldatastructureisusedinthesystemarchitecturethroughdesigningmetadatainterfacesandmetadatadrivenengine.Feedbackinformationofeachmoduleinthedatawarehouseandmetadatastoragewill
4、interactoneachother.Thisworkconstructsamotadata-drivendatawarehousesystemoperationmechanism,resolvingthedificultiestoupdateandmaintainmetadataandloweficiencyofdataqualitychecking.Finally,itenhancesthemanagementandcontrolcapabilitiesofenterprisedatawarehouse.、Keywords:
5、metadata-driven;datawarehouse;ETL;datasearchengine;dataquality隨著信息技術(shù)的快速發(fā)展,企業(yè)對數(shù)據(jù)處理的要l數(shù)據(jù)倉庫與元數(shù)據(jù)求也越來越高,同時希望對歷史數(shù)據(jù)進(jìn)行具體的、有數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定針對性的分析和智能化挖掘,進(jìn)而從海量數(shù)據(jù)中發(fā)現(xiàn)的、反映歷史變化的數(shù)據(jù)集合【】】,是決策支持系統(tǒng)和聯(lián)新客戶并能夠更好地解決客戶新的需求,尋找新的商機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境.?dāng)?shù)據(jù)倉庫的特機(jī),使企業(yè)在激烈的市場競爭中占據(jù)更大的優(yōu)勢.?dāng)?shù)征在于面向主題、集成性、穩(wěn)定
6、性和時變性.其主要據(jù)倉庫技術(shù)的出現(xiàn)。很好的滿足這一技術(shù)需求.在數(shù)功能是將聯(lián)機(jī)事務(wù)處理系統(tǒng)(OLTP)經(jīng)年累月所累積的據(jù)倉庫結(jié)構(gòu)中,元數(shù)據(jù)是必不可少的組成部分,它貫大量信息,通過數(shù)據(jù)倉庫理論所特有的信息儲存架構(gòu),穿了數(shù)據(jù)倉庫的整個體系,是連接數(shù)據(jù)倉庫各個模塊進(jìn)行系統(tǒng)的分析整理,以利于各種分析方法的應(yīng)用,的橋梁,是數(shù)據(jù)倉庫的靈魂和基石.本文通過對數(shù)據(jù)并進(jìn)而支持如決策支持系統(tǒng)(DSS)、主管信息系統(tǒng)倉庫建設(shè)中存在問題的深入分析,以及對數(shù)據(jù)倉庫維(EIS)、商業(yè)智能應(yīng)用(BI)等的創(chuàng)建,幫助決策者能快速護(hù)和管理技術(shù)的探討,提出并實(shí)現(xiàn)了一種
7、基于元數(shù)據(jù)有效的從大量數(shù)據(jù)中,分析出有價值的信息,以利于驅(qū)動的企業(yè)級數(shù)據(jù)倉庫系統(tǒng).決策擬定及快速回應(yīng)外在環(huán)境的變動.①收稿時間:2014-.05-29;收到修改稿時間:2014-07·14SystemConstruction系統(tǒng)建設(shè)99計(jì)算機(jī)系統(tǒng)應(yīng)用http://www.c—S—a.org.cn2015年第24卷第2期式,加載周期等信息.ETL按照元數(shù)據(jù)提供的這些信終端所識別.解析規(guī)則同樣以元數(shù)據(jù)的方式被存儲,息,負(fù)責(zé)處理數(shù)據(jù)加載環(huán)境,通過通用數(shù)據(jù)訪問接口以備管理和使用.將得到的數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫中.通用ETL訪問接口:作為ET
8、L邏輯信息與ETL212具的中間樞紐,將外部ETL信息標(biāo)準(zhǔn)化為現(xiàn)有ETL工具所能識別的標(biāo)準(zhǔn)信息.接口元數(shù)據(jù)定義了ETL信息的轉(zhuǎn)換規(guī)則.以數(shù)據(jù)抽取為例,數(shù)據(jù)抽取從元數(shù)據(jù)系統(tǒng)中獲取的元數(shù)據(jù)包括數(shù)據(jù)源、源所在的路徑或所在的數(shù)據(jù)源庫、數(shù)據(jù)的讀取權(quán)限、用戶名