資源描述:
《選擇合適的etl工具》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、選擇合適的ETL工具
2、第1目前,商業(yè)智能系統(tǒng)有兩種實(shí)施策略:一種是將BI系統(tǒng)建造在目前已有的業(yè)務(wù)系統(tǒng)之上,以企業(yè)應(yīng)用集成(EAI)系統(tǒng)為核心,將各個業(yè)務(wù)系統(tǒng)的獨(dú)立數(shù)據(jù)統(tǒng)一成標(biāo)準(zhǔn)數(shù)據(jù)格式(如XML),然后,由BI系統(tǒng)進(jìn)行整合、分析、展現(xiàn)。此類BI系統(tǒng)通常是與EAI系統(tǒng)捆綁在一起的,其架構(gòu)讀者可通過EAI系統(tǒng)的相關(guān)資料進(jìn)行了解,此處將不做討論。另一種是將BI系統(tǒng)建立在企業(yè)級的數(shù)據(jù)倉庫基礎(chǔ)上,由數(shù)據(jù)倉庫將企業(yè)的業(yè)務(wù)數(shù)據(jù)統(tǒng)一存儲在企業(yè)邏輯數(shù)據(jù)模型架構(gòu)中,然后,通過在數(shù)據(jù)倉庫基礎(chǔ)上建立邏輯或物理的數(shù)據(jù)集市、數(shù)據(jù)決策系統(tǒng)、數(shù)據(jù)在線分析系統(tǒng)等子系統(tǒng),完成數(shù)據(jù)的整合、分析,然后由前端展現(xiàn)工具對已有的數(shù)據(jù)(
3、原始數(shù)據(jù)、整合數(shù)據(jù))進(jìn)行匯總及展現(xiàn)。由于此類BI系統(tǒng)可以分步實(shí)施,用戶可逐步建立其BI系統(tǒng),所以成功率比較高。以目前已有的商業(yè)智能系統(tǒng)來看,此種架構(gòu)將成為商業(yè)智能系統(tǒng)發(fā)展的主流。以下的討論將以此種架構(gòu)為基礎(chǔ)。在企業(yè)級的以數(shù)據(jù)倉庫系統(tǒng)為中心的商業(yè)智能系統(tǒng)中,其組成架構(gòu)包括以下幾部分:●源數(shù)據(jù)系統(tǒng)●可操作數(shù)據(jù)存儲系統(tǒng)(ODS)●數(shù)據(jù)決策系統(tǒng)(DDS)●在線分析系統(tǒng)(OLAP)●前端展現(xiàn)工具●元數(shù)據(jù)系統(tǒng)商業(yè)智能系統(tǒng)運(yùn)行的基礎(chǔ)是互相獨(dú)立、互不兼容的、復(fù)雜的源數(shù)據(jù)系統(tǒng),各個源數(shù)據(jù)系統(tǒng)是企業(yè)在不同的歷史時期建立的,面向不同業(yè)務(wù)需求的生產(chǎn)系統(tǒng)。因此,依照合理的方式整合源數(shù)據(jù)系統(tǒng),將源數(shù)據(jù)統(tǒng)一存儲在以企業(yè)
4、邏輯模型構(gòu)建的ODS系統(tǒng)中,DDS、OLAP、前端展現(xiàn)工具依照用戶需求,對數(shù)據(jù)進(jìn)行匯總、展示,并按照用戶喜好的方式,將結(jié)果展現(xiàn)在用戶面前是商業(yè)智能系統(tǒng)的基本任務(wù)。由于企業(yè)業(yè)務(wù)系統(tǒng)的復(fù)雜性,各個源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、格式、定義各不相同,為了能有效的整合企業(yè)數(shù)據(jù)系統(tǒng),保持?jǐn)?shù)據(jù)的一致性,并將數(shù)據(jù)統(tǒng)一地展現(xiàn)在客戶面前,ETL解決方案是用戶唯一的選擇。ETL解決方案包括數(shù)據(jù)抽取(E)、數(shù)據(jù)傳輸、轉(zhuǎn)換與清洗(T)、數(shù)據(jù)加載、調(diào)度(L),毋庸置言,ETL系統(tǒng)將貫穿整個商業(yè)智能系統(tǒng)的全過程,如圖所示,從源數(shù)據(jù)系統(tǒng)到前端展示系統(tǒng)的整個商業(yè)智能系統(tǒng)各個組件之間,都存在ETL過程。ETL方案對整個商業(yè)智能系統(tǒng)的
5、重要性可與血液與人體的作用相提并論,一個有效的ETL處理方案將是系統(tǒng)成功的首要因素。目前,商業(yè)智能系統(tǒng)有兩種實(shí)施策略:一種是將BI系統(tǒng)建造在目前已有的業(yè)務(wù)系統(tǒng)之上,以企業(yè)應(yīng)用集成(EAI)系統(tǒng)為核心,將各個業(yè)務(wù)系統(tǒng)的獨(dú)立數(shù)據(jù)統(tǒng)一成標(biāo)準(zhǔn)數(shù)據(jù)格式(如XML),然后,由BI系統(tǒng)進(jìn)行整合、分析、展現(xiàn)。此類BI系統(tǒng)通常是與EAI系統(tǒng)捆綁在一起的,其架構(gòu)讀者可通過EAI系統(tǒng)的相關(guān)資料進(jìn)行了解,此處將不做討論。另一種是將BI系統(tǒng)建立在企業(yè)級的數(shù)據(jù)倉庫基礎(chǔ)上,由數(shù)據(jù)倉庫將企業(yè)的業(yè)務(wù)數(shù)據(jù)統(tǒng)一存儲在企業(yè)邏輯數(shù)據(jù)模型架構(gòu)中,然后,通過在數(shù)據(jù)倉庫基礎(chǔ)上建立邏輯或物理的數(shù)據(jù)集市、數(shù)據(jù)決策系統(tǒng)、數(shù)據(jù)在線分析系統(tǒng)等子系
6、統(tǒng),完成數(shù)據(jù)的整合、分析,然后由前端展現(xiàn)工具對已有的數(shù)據(jù)(原始數(shù)據(jù)、整合數(shù)據(jù))進(jìn)行匯總及展現(xiàn)。由于此類BI系統(tǒng)可以分步實(shí)施,用戶可逐步建立其BI系統(tǒng),所以成功率比較高。以目前已有的商業(yè)智能系統(tǒng)來看,此種架構(gòu)將成為商業(yè)智能系統(tǒng)發(fā)展的主流。以下的討論將以此種架構(gòu)為基礎(chǔ)。在企業(yè)級的以數(shù)據(jù)倉庫系統(tǒng)為中心的商業(yè)智能系統(tǒng)中,其組成架構(gòu)包括以下幾部分:●源數(shù)據(jù)系統(tǒng)●可操作數(shù)據(jù)存儲系統(tǒng)(ODS)●數(shù)據(jù)決策系統(tǒng)(DDS)●在線分析系統(tǒng)(OLAP)●前端展現(xiàn)工具●元數(shù)據(jù)系統(tǒng)商業(yè)智能系統(tǒng)運(yùn)行的基礎(chǔ)是互相獨(dú)立、互不兼容的、復(fù)雜的源數(shù)據(jù)系統(tǒng),各個源數(shù)據(jù)系統(tǒng)是企業(yè)在不同的歷史時期建立的,面向不同業(yè)務(wù)需求的生產(chǎn)系統(tǒng)。因
7、此,依照合理的方式整合源數(shù)據(jù)系統(tǒng),將源數(shù)據(jù)統(tǒng)一存儲在以企業(yè)邏輯模型構(gòu)建的ODS系統(tǒng)中,DDS、OLAP、前端展現(xiàn)工具依照用戶需求,對數(shù)據(jù)進(jìn)行匯總、展示,并按照用戶喜好的方式,將結(jié)果展現(xiàn)在用戶面前是商業(yè)智能系統(tǒng)的基本任務(wù)。由于企業(yè)業(yè)務(wù)系統(tǒng)的復(fù)雜性,各個源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、格式、定義各不相同,為了能有效的整合企業(yè)數(shù)據(jù)系統(tǒng),保持?jǐn)?shù)據(jù)的一致性,并將數(shù)據(jù)統(tǒng)一地展現(xiàn)在客戶面前,ETL解決方案是用戶唯一的選擇。ETL解決方案包括數(shù)據(jù)抽取(E)、數(shù)據(jù)傳輸、轉(zhuǎn)換與清洗(T)、數(shù)據(jù)加載、調(diào)度(L),毋庸置言,ETL系統(tǒng)將貫穿整個商業(yè)智能系統(tǒng)的全過程,如圖所示,從源數(shù)據(jù)系統(tǒng)到前端展示系統(tǒng)的整個商業(yè)智能系統(tǒng)各個
8、組件之間,都存在ETL過程。ETL方案對整個商業(yè)智能系統(tǒng)的重要性可與血液與人體的作用相提并論,一個有效的ETL處理方案將是系統(tǒng)成功的首要因素。目前,商業(yè)智能系統(tǒng)有兩種實(shí)施策略:一種是將BI系統(tǒng)建造在目前已有的業(yè)務(wù)系統(tǒng)之上,以企業(yè)應(yīng)用集成(EAI)系統(tǒng)為核心,將各個業(yè)務(wù)系統(tǒng)的獨(dú)立數(shù)據(jù)統(tǒng)一成標(biāo)準(zhǔn)數(shù)據(jù)格式(如XML),然后,由BI系統(tǒng)進(jìn)行整合、分析、展現(xiàn)。此類BI系統(tǒng)通常是與EAI系統(tǒng)捆綁在一起的,其架構(gòu)讀者可通過EAI系統(tǒng)的