基于元數(shù)據(jù)驅(qū)動的通用數(shù)據(jù)遷移工具.pdf

《基于元數(shù)據(jù)驅(qū)動的通用數(shù)據(jù)遷移工具.pdf》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、大慶石油學(xué)院學(xué)報第35卷第1期2011年2月JOURNAIOFDAQINGPETROLEUMINSTITUTEVo【_35No．1Feb．2011基于元數(shù)據(jù)驅(qū)動的通用數(shù)據(jù)遷移工具任慶東，李天陽，袁滿，許翰文(東北石油大學(xué)計算機(jī)與信息技術(shù)學(xué)院，黑龍江大慶163318)摘要：為解決企業(yè)數(shù)據(jù)模型升級需要在數(shù)據(jù)庫間實(shí)現(xiàn)數(shù)據(jù)遷移的問題，創(chuàng)建基于元數(shù)據(jù)驅(qū)動的通用數(shù)據(jù)遷移工具，分析數(shù)據(jù)抽取、轉(zhuǎn)換和加載體系結(jié)構(gòu)，采用元數(shù)據(jù)驅(qū)動技術(shù)，結(jié)合企業(yè)數(shù)據(jù)遷移需求，定義數(shù)據(jù)遷移通用框架模型體系；處理映射模式的元數(shù)據(jù)表示，實(shí)現(xiàn)用元數(shù)據(jù)描述與存儲映射模式．該方法實(shí)現(xiàn)用元數(shù)據(jù)驅(qū)動數(shù)據(jù)抽取

2、、轉(zhuǎn)換和加載引擎功能，技術(shù)與功能在中國石油數(shù)據(jù)中心大型數(shù)據(jù)遷移中應(yīng)用，取得良好效果．關(guān)鍵詞：數(shù)據(jù)遷移；元數(shù)據(jù)驅(qū)動；數(shù)據(jù)抽取、轉(zhuǎn)換和加載體系；映射模式；元數(shù)據(jù)映射中圖分類號：TP311文獻(xiàn)標(biāo)識碼：A文章編號：1000—189l(2O11)01—0076—050引言隨著信息技術(shù)的發(fā)展，數(shù)據(jù)集成速度加快，數(shù)據(jù)中心規(guī)模變大，需要向數(shù)據(jù)中心遷移數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)庫數(shù)量增多，大型數(shù)據(jù)庫的數(shù)據(jù)遷移問題成為信息集成的關(guān)鍵．?dāng)?shù)據(jù)遷移主要包括采用數(shù)據(jù)庫自帶的數(shù)據(jù)遷移工具和編寫點(diǎn)對點(diǎn)數(shù)據(jù)遷移程序2種方式口]，在實(shí)現(xiàn)多對一大型數(shù)據(jù)庫數(shù)據(jù)遷移中存在不足之處，如白帶工具能夠很好完成數(shù)據(jù)

3、模型同構(gòu)的數(shù)據(jù)庫數(shù)據(jù)遷移任務(wù)，但是對于數(shù)據(jù)模型差異較大、數(shù)據(jù)表過多的數(shù)據(jù)遷移任務(wù)時，需要編寫大量輔助程序，不能滿足實(shí)際應(yīng)用；編寫遷移程序需要大量重復(fù)編碼，同時要求開發(fā)人員熟悉業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)及業(yè)務(wù)規(guī)則，加大工具實(shí)現(xiàn)難度．通過對元數(shù)據(jù)驅(qū)動技術(shù)以及傳統(tǒng)數(shù)據(jù)抽取、轉(zhuǎn)換和加載體系結(jié)構(gòu)(ExtractionTransformationLoading，簡稱ETL)的研究，提出基于元數(shù)據(jù)驅(qū)動技術(shù)[3的針對大型數(shù)據(jù)庫之間通用數(shù)據(jù)遷移框架，實(shí)現(xiàn)數(shù)據(jù)遷移．傳統(tǒng)ETL體系結(jié)構(gòu)中的元數(shù)據(jù)主要描述數(shù)據(jù)源的位置及屬性、源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的對應(yīng)規(guī)則遷移準(zhǔn)備工作等，缺少對數(shù)據(jù)轉(zhuǎn)換行為

4、的描述，數(shù)據(jù)轉(zhuǎn)換過程基于具體數(shù)據(jù)庫使用代碼實(shí)現(xiàn)，導(dǎo)致ETL工具的靈活性不高，不易維護(hù)．基于映射模式元數(shù)據(jù)的ETI體系結(jié)構(gòu)使用以轉(zhuǎn)換處理為描述中心的元數(shù)據(jù)，使處理對象脫離代碼，通過調(diào)用轉(zhuǎn)換函數(shù)實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換，變更數(shù)據(jù)轉(zhuǎn)換規(guī)則或處理對象無需修改代碼，只需重新定制元數(shù)據(jù)，使維護(hù)方便且具有良好的擴(kuò)展性．該框架實(shí)現(xiàn)的工具具有優(yōu)越性：(1)框架基于數(shù)據(jù)字典定制元數(shù)據(jù)，通過選擇不同的數(shù)據(jù)字典定制映射模式元數(shù)據(jù)能夠?qū)崿F(xiàn)不同專業(yè)數(shù)據(jù)庫到數(shù)據(jù)中心數(shù)據(jù)庫的數(shù)據(jù)遷移，具有一定通用性；(2)框架使用轉(zhuǎn)換函數(shù)元模型，不同數(shù)據(jù)模型間數(shù)據(jù)遷移過程，映射模式繁多，當(dāng)出現(xiàn)一種新的映射模式只需

5、編寫單獨(dú)轉(zhuǎn)換函數(shù)，同時在轉(zhuǎn)換函數(shù)元模型中添加函數(shù)接口及參數(shù)信息，定制對應(yīng)字段間映射模式元數(shù)據(jù)后，即可使用新映射模式實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換，無需更改工具代碼；(3)使用元數(shù)據(jù)驅(qū)動方式實(shí)現(xiàn)ETL功能，維護(hù)工作大部分為修改元數(shù)據(jù)，使維護(hù)簡化．1元數(shù)據(jù)映射模式原理基于映射模式元數(shù)據(jù)驅(qū)動的ETI過程框架及實(shí)現(xiàn)工具原理：確定源數(shù)據(jù)庫中實(shí)體的某一個屬性或?qū)傩约脚c其對應(yīng)的目標(biāo)數(shù)據(jù)庫中實(shí)體屬性或?qū)傩约膶?yīng)關(guān)系(映射模式分類)Ⅲ，對源數(shù)據(jù)庫中某一記錄下數(shù)據(jù)利用變換、運(yùn)算或統(tǒng)計等處理過程(映射函數(shù))轉(zhuǎn)換為對應(yīng)目標(biāo)數(shù)據(jù)庫中記錄下數(shù)據(jù)，轉(zhuǎn)換過程中為提高映射函數(shù)的重用性，將不同屬性下相同

6、映射模式的函數(shù)處理過程中處理對象與可變數(shù)據(jù)抽象為映收稿日期：2010—10—11；審稿人：劉賢梅；編輯：任志平，張兆虹基金項(xiàng)目：黑龍江省自然科學(xué)基金項(xiàng)目(11541008)作者簡介：任慶東(196O～)，男，副研究員，主要從事計算機(jī)控制、數(shù)據(jù)集成等方面的研究·76·第1期任慶東等：基于元數(shù)據(jù)驅(qū)動的通用數(shù)據(jù)遷移工具射函數(shù)的參數(shù)．將描述源實(shí)體與目標(biāo)實(shí)體屬性信息，屬性映射模式、映射函數(shù)、參數(shù)值信息及源實(shí)體的數(shù)據(jù)抽取、目標(biāo)實(shí)體的數(shù)據(jù)加載方式信息集合作為映射模式元數(shù)據(jù)，用其描述數(shù)據(jù)庫間映射模式，設(shè)計用于支撐映射模式元數(shù)據(jù)定制的元模型，通過元模型定制數(shù)據(jù)庫之問的映射

7、模式元數(shù)據(jù)，用映射模式元數(shù)據(jù)驅(qū)動ETL功能模塊，完成數(shù)據(jù)的抽取、轉(zhuǎn)換、加載，實(shí)現(xiàn)大型數(shù)據(jù)庫間的數(shù)據(jù)遷移．2設(shè)計方案基于元數(shù)據(jù)驅(qū)動的通用數(shù)據(jù)遷移工具隨數(shù)據(jù)集成需求變化而改變使用環(huán)境，工具框架與元數(shù)據(jù)庫設(shè)計的重點(diǎn)在于完整、有效地表示數(shù)據(jù)庫及其表結(jié)構(gòu)信息、映射函數(shù)及參數(shù)信息、數(shù)據(jù)抽取與加載方式信息；整合制定制流程中形成映射模式元數(shù)據(jù)；使用映射模式元數(shù)據(jù)驅(qū)動實(shí)現(xiàn)不同環(huán)境下數(shù)據(jù)遷移．2．1框架結(jié)構(gòu)工具框架結(jié)構(gòu)見圖1．(1)數(shù)據(jù)源：數(shù)據(jù)遷移提圄園供源數(shù)據(jù)的數(shù)據(jù)庫或文件．可以是ORACIE或其他關(guān)系型數(shù)據(jù)庫、純文本等．(2)目標(biāo)庫：存儲從源數(shù)據(jù)庫中抽取出來并經(jīng)過數(shù)據(jù)轉(zhuǎn)

8、換后的數(shù)據(jù)庫或文件．?dāng)?shù)據(jù)源(3)通用數(shù)據(jù)訪問接口：采用OLEDB[。和oDBC[