選擇合適的etl工具

《選擇合適的etl工具》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、選擇合適的ETL工具

2、第1目前，商業(yè)智能系統(tǒng)有兩種實(shí)施策略：一種是將BI系統(tǒng)建造在目前已有的業(yè)務(wù)系統(tǒng)之上，以企業(yè)應(yīng)用集成（EAI）系統(tǒng)為核心，將各個業(yè)務(wù)系統(tǒng)的獨(dú)立數(shù)據(jù)統(tǒng)一成標(biāo)準(zhǔn)數(shù)據(jù)格式（如XML），然后，由BI系統(tǒng)進(jìn)行整合、分析、展現(xiàn)。此類BI系統(tǒng)通常是與EAI系統(tǒng)捆綁在一起的，其架構(gòu)讀者可通過EAI系統(tǒng)的相關(guān)資料進(jìn)行了解，此處將不做討論。另一種是將BI系統(tǒng)建立在企業(yè)級的數(shù)據(jù)倉庫基礎(chǔ)上，由數(shù)據(jù)倉庫將企業(yè)的業(yè)務(wù)數(shù)據(jù)統(tǒng)一存儲在企業(yè)邏輯數(shù)據(jù)模型架構(gòu)中，然后，通過在數(shù)據(jù)倉庫基礎(chǔ)上建立邏輯或物理的數(shù)據(jù)集市、數(shù)據(jù)決策系統(tǒng)、數(shù)據(jù)在線分析系統(tǒng)等子系統(tǒng)，完成數(shù)據(jù)的整合、分析，然后由前端展現(xiàn)工具對已有的數(shù)據(jù)（

3、原始數(shù)據(jù)、整合數(shù)據(jù)）進(jìn)行匯總及展現(xiàn)。由于此類BI系統(tǒng)可以分步實(shí)施，用戶可逐步建立其BI系統(tǒng)，所以成功率比較高。以目前已有的商業(yè)智能系統(tǒng)來看，此種架構(gòu)將成為商業(yè)智能系統(tǒng)發(fā)展的主流。以下的討論將以此種架構(gòu)為基礎(chǔ)。在企業(yè)級的以數(shù)據(jù)倉庫系統(tǒng)為中心的商業(yè)智能系統(tǒng)中，其組成架構(gòu)包括以下幾部分：●源數(shù)據(jù)系統(tǒng)●可操作數(shù)據(jù)存儲系統(tǒng)（ODS）●數(shù)據(jù)決策系統(tǒng)（DDS）●在線分析系統(tǒng)（OLAP）●前端展現(xiàn)工具●元數(shù)據(jù)系統(tǒng)商業(yè)智能系統(tǒng)運(yùn)行的基礎(chǔ)是互相獨(dú)立、互不兼容的、復(fù)雜的源數(shù)據(jù)系統(tǒng)，各個源數(shù)據(jù)系統(tǒng)是企業(yè)在不同的歷史時期建立的，面向不同業(yè)務(wù)需求的生產(chǎn)系統(tǒng)。因此，依照合理的方式整合源數(shù)據(jù)系統(tǒng)，將源數(shù)據(jù)統(tǒng)一存儲在以企業(yè)

4、邏輯模型構(gòu)建的ODS系統(tǒng)中，DDS、OLAP、前端展現(xiàn)工具依照用戶需求，對數(shù)據(jù)進(jìn)行匯總、展示，并按照用戶喜好的方式，將結(jié)果展現(xiàn)在用戶面前是商業(yè)智能系統(tǒng)的基本任務(wù)。由于企業(yè)業(yè)務(wù)系統(tǒng)的復(fù)雜性，各個源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、格式、定義各不相同，為了能有效的整合企業(yè)數(shù)據(jù)系統(tǒng)，保持?jǐn)?shù)據(jù)的一致性，并將數(shù)據(jù)統(tǒng)一地展現(xiàn)在客戶面前，ETL解決方案是用戶唯一的選擇。ETL解決方案包括數(shù)據(jù)抽取（E）、數(shù)據(jù)傳輸、轉(zhuǎn)換與清洗（T）、數(shù)據(jù)加載、調(diào)度（L），毋庸置言，ETL系統(tǒng)將貫穿整個商業(yè)智能系統(tǒng)的全過程，如圖所示，從源數(shù)據(jù)系統(tǒng)到前端展示系統(tǒng)的整個商業(yè)智能系統(tǒng)各個組件之間，都存在ETL過程。ETL方案對整個商業(yè)智能系統(tǒng)的

5、重要性可與血液與人體的作用相提并論，一個有效的ETL處理方案將是系統(tǒng)成功的首要因素。目前，商業(yè)智能系統(tǒng)有兩種實(shí)施策略：一種是將BI系統(tǒng)建造在目前已有的業(yè)務(wù)系統(tǒng)之上，以企業(yè)應(yīng)用集成（EAI）系統(tǒng)為核心，將各個業(yè)務(wù)系統(tǒng)的獨(dú)立數(shù)據(jù)統(tǒng)一成標(biāo)準(zhǔn)數(shù)據(jù)格式（如XML），然后，由BI系統(tǒng)進(jìn)行整合、分析、展現(xiàn)。此類BI系統(tǒng)通常是與EAI系統(tǒng)捆綁在一起的，其架構(gòu)讀者可通過EAI系統(tǒng)的相關(guān)資料進(jìn)行了解，此處將不做討論。另一種是將BI系統(tǒng)建立在企業(yè)級的數(shù)據(jù)倉庫基礎(chǔ)上，由數(shù)據(jù)倉庫將企業(yè)的業(yè)務(wù)數(shù)據(jù)統(tǒng)一存儲在企業(yè)邏輯數(shù)據(jù)模型架構(gòu)中，然后，通過在數(shù)據(jù)倉庫基礎(chǔ)上建立邏輯或物理的數(shù)據(jù)集市、數(shù)據(jù)決策系統(tǒng)、數(shù)據(jù)在線分析系統(tǒng)等子系

6、統(tǒng)，完成數(shù)據(jù)的整合、分析，然后由前端展現(xiàn)工具對已有的數(shù)據(jù)（原始數(shù)據(jù)、整合數(shù)據(jù)）進(jìn)行匯總及展現(xiàn)。由于此類BI系統(tǒng)可以分步實(shí)施，用戶可逐步建立其BI系統(tǒng)，所以成功率比較高。以目前已有的商業(yè)智能系統(tǒng)來看，此種架構(gòu)將成為商業(yè)智能系統(tǒng)發(fā)展的主流。以下的討論將以此種架構(gòu)為基礎(chǔ)。在企業(yè)級的以數(shù)據(jù)倉庫系統(tǒng)為中心的商業(yè)智能系統(tǒng)中，其組成架構(gòu)包括以下幾部分：●源數(shù)據(jù)系統(tǒng)●可操作數(shù)據(jù)存儲系統(tǒng)（ODS）●數(shù)據(jù)決策系統(tǒng)（DDS）●在線分析系統(tǒng)（OLAP）●前端展現(xiàn)工具●元數(shù)據(jù)系統(tǒng)商業(yè)智能系統(tǒng)運(yùn)行的基礎(chǔ)是互相獨(dú)立、互不兼容的、復(fù)雜的源數(shù)據(jù)系統(tǒng)，各個源數(shù)據(jù)系統(tǒng)是企業(yè)在不同的歷史時期建立的，面向不同業(yè)務(wù)需求的生產(chǎn)系統(tǒng)。因

7、此，依照合理的方式整合源數(shù)據(jù)系統(tǒng)，將源數(shù)據(jù)統(tǒng)一存儲在以企業(yè)邏輯模型構(gòu)建的ODS系統(tǒng)中，DDS、OLAP、前端展現(xiàn)工具依照用戶需求，對數(shù)據(jù)進(jìn)行匯總、展示，并按照用戶喜好的方式，將結(jié)果展現(xiàn)在用戶面前是商業(yè)智能系統(tǒng)的基本任務(wù)。由于企業(yè)業(yè)務(wù)系統(tǒng)的復(fù)雜性，各個源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、格式、定義各不相同，為了能有效的整合企業(yè)數(shù)據(jù)系統(tǒng)，保持?jǐn)?shù)據(jù)的一致性，并將數(shù)據(jù)統(tǒng)一地展現(xiàn)在客戶面前，ETL解決方案是用戶唯一的選擇。ETL解決方案包括數(shù)據(jù)抽取（E）、數(shù)據(jù)傳輸、轉(zhuǎn)換與清洗（T）、數(shù)據(jù)加載、調(diào)度（L），毋庸置言，ETL系統(tǒng)將貫穿整個商業(yè)智能系統(tǒng)的全過程，如圖所示，從源數(shù)據(jù)系統(tǒng)到前端展示系統(tǒng)的整個商業(yè)智能系統(tǒng)各個

8、組件之間，都存在ETL過程。ETL方案對整個商業(yè)智能系統(tǒng)的重要性可與血液與人體的作用相提并論，一個有效的ETL處理方案將是系統(tǒng)成功的首要因素。目前，商業(yè)智能系統(tǒng)有兩種實(shí)施策略：一種是將BI系統(tǒng)建造在目前已有的業(yè)務(wù)系統(tǒng)之上，以企業(yè)應(yīng)用集成（EAI）系統(tǒng)為核心，將各個業(yè)務(wù)系統(tǒng)的獨(dú)立數(shù)據(jù)統(tǒng)一成標(biāo)準(zhǔn)數(shù)據(jù)格式（如XML），然后，由BI系統(tǒng)進(jìn)行整合、分析、展現(xiàn)。此類BI系統(tǒng)通常是與EAI系統(tǒng)捆綁在一起的，其架構(gòu)讀者可通過EAI系統(tǒng)的