資源描述：
《開源ETL系統(tǒng)研究與設(shè)計實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、分類培密級—UDC學(xué)拉代fQ10500碩士學(xué)位論文題目：開源ETL系統(tǒng)研究與設(shè)計實現(xiàn)英目：OpenSourceETLSystemResearchandDesignRealization學(xué)位申請人姓名：張強申請學(xué)位學(xué)科專Jt：電力電子與電力傳動指導(dǎo)教師姓名：張洪濤教授二00七年五月任何公司都有很多寶貴數(shù)據(jù)，它們需要在網(wǎng)絡(luò)上從一個地方傳送到其他地方，這就需要對軟件的數(shù)據(jù)格式進行必要的處理，如從一個商務(wù)軟件格式到另一種格式或數(shù)據(jù)倉庫，然后進行分析?，F(xiàn)在的問題是，各種數(shù)據(jù)處于異質(zhì)系統(tǒng)~例如，由各種CRM（客戶尖系，CustomerRe
2、lationshipManagement）系統(tǒng)產(chǎn)生的數(shù)據(jù)，可能用不同方式定義一個客戶，但需要一個系統(tǒng)平臺來統(tǒng)一確定其在后端會計系統(tǒng)是同一客戶《為了解決這個問題，利用萃取、改造和裝載（ETL,Extract,TransformandSad）軟件?即閱讀資料、統(tǒng)一格式、清潔源數(shù)據(jù)，并寫入它的目標(biāo)開發(fā)存儲庫。從多個異構(gòu)數(shù)據(jù)源獲取業(yè)務(wù)數(shù)據(jù)，進行數(shù)據(jù)清洗和轉(zhuǎn)換后，存儲到數(shù)據(jù)倉庫的過程，稱為ETL過程。提取可以通過Java的數(shù)據(jù)庫提取連接技術(shù)實現(xiàn)，也可以通過微軟公司的并放數(shù)據(jù)庫互連技術(shù)獲取。經(jīng)過提取、數(shù)據(jù)轉(zhuǎn)換或修改'依靠所涉及的具體業(yè)務(wù)邏
3、輯，以便它能夠被送到目標(biāo)存儲庫?有多種方式進行改造,涉及的作業(yè)各有不同。數(shù)據(jù)可能僅僅需要重新格式化，但大多數(shù)的ETL也涉及清洗作業(yè)，以消除備份和執(zhí)行數(shù)據(jù)一致性。E1L軟件的部分功能是用于檢查個別數(shù)據(jù)域，并且運用規(guī)則不斷轉(zhuǎn)換源數(shù)據(jù)到目標(biāo)存儲庫和用程序所要求的格式。另外，ETL過程可以涉及的領(lǐng)域如下：標(biāo)準(zhǔn)化域名和地址域、核實電話號碼或其他領(lǐng)域、擴展帶有附加字段的記錄，其中附加字段包括人口統(tǒng)計數(shù)據(jù)或來自其它系統(tǒng)的數(shù)據(jù)。本文以項目踏藍(lán)（TOS.TalendOpenStudio）為支撐，主要研究ETL理論及其改進，并就踏藍(lán)項目需求進行E
4、TL系統(tǒng)構(gòu)架設(shè)計，最后測試并達(dá)到預(yù)期。開源ETL系統(tǒng)解決方案對于企業(yè)決策過程整合，（TOS）踏藍(lán)的解決方案是收集、處理和合并公司內(nèi)部的各種各樣不同系統(tǒng)內(nèi)的數(shù)據(jù)，并且將他們傳輸至中央數(shù)據(jù)庫（數(shù)據(jù)中心）。這樣，數(shù)據(jù)能夠很容易被訪問；有效地被處理，以便更深層次的分析和報告：或者被再次輸入其它運用處理程序。ETL-K于決策過程的中心一允許公司能夠根據(jù)其需要，清除、標(biāo)準(zhǔn)化以及轉(zhuǎn)化他們的數(shù)據(jù)。尖鍵詞：踏藍(lán)（TOS）,ETL（萃取、改造和裝載），數(shù)據(jù)存儲庫,AbstractConAaniesknowtheyhavevaluabledatal
5、yingaroundthroughouttheirnetworksthatneedstobemovedfromoneplacetoanother?suchasfromonebusinessapplicationtoanotherortoadatawarehouseforanalysis.Theonlyproblemisthattheallsortsofheterogeneoussystems,andthereforeinaSIsortsofformats.ForCRMsystemmaydefineacustomerinonew
6、aywhileaback-endaccountingsystemmaydefinethesamecustomerdifferently.Tosolvetheproblem,iuseextract,transformandload(ETL)software,whichincludesreadingdatacleaningitupandformaedngitimifomily,andthenwritingittothetargetrepositorytobeexploited.Theprocessisfromallsortsofh
7、eterogeneousdatasourceextractbusinessdata,transformandcleanse"loadtodatawarehouse.ThisprocessiscalledETL(Extraction,Transformation7^andLoad).ExtractipncanbedoneviaJavaDatabaseConnectivity,MicrosoftCoip.'sOpenDatabaseConnectivitytechnologyproprictaiycodeorbycreatingf
8、lattiles.Afterextraction,thedataistransfonncd,ormodified,dependingonthespecificbusinesslogicinvolvedsottiatitcanbesenttothetargetrepositor
