最新數(shù)據(jù)倉(cāng)庫(kù)實(shí)踐培訓(xùn)PPT課件.ppt

《最新數(shù)據(jù)倉(cāng)庫(kù)實(shí)踐培訓(xùn)PPT課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、數(shù)據(jù)倉(cāng)庫(kù)實(shí)踐培訓(xùn)什么是OLTP（聯(lián)機(jī)事務(wù)處理）？On-LineTransactionProcessing聯(lián)機(jī)事務(wù)處理系統(tǒng)(OLTP)也稱為面向交易的處理系統(tǒng)，其基本特征是顧客的原始數(shù)據(jù)可以立即傳送到計(jì)算中心進(jìn)行處理，并在很短的時(shí)間內(nèi)給出處理結(jié)果。這樣做的最大優(yōu)點(diǎn)是可以即時(shí)地處理輸入的數(shù)據(jù)，及時(shí)地回答。也稱為實(shí)時(shí)系統(tǒng)(RealtimeSystem)。衡量聯(lián)機(jī)事務(wù)處理系統(tǒng)的一個(gè)重要性能指標(biāo)是系統(tǒng)性能，具體體現(xiàn)為實(shí)時(shí)響應(yīng)時(shí)間(ResponseTime)，即用戶在終端上送入數(shù)據(jù)之后，到計(jì)算機(jī)對(duì)這個(gè)請(qǐng)求給出答復(fù)

2、所需要的時(shí)間。　　OLTP數(shù)據(jù)庫(kù)旨在使事務(wù)應(yīng)用程序僅寫(xiě)入所需的數(shù)據(jù)，以便盡快處理單個(gè)事務(wù)。支持大量并發(fā)用戶定期添加和修改數(shù)據(jù)。反映實(shí)時(shí)變化的對(duì)象狀態(tài)，但不保存其歷史記錄。包含大量數(shù)據(jù)，其中包括用于驗(yàn)證事務(wù)的大量數(shù)據(jù)。一般具有復(fù)雜的數(shù)據(jù)結(jié)構(gòu)?？梢赃M(jìn)行優(yōu)化以對(duì)事務(wù)活動(dòng)做出響應(yīng)。提供用于支持單位日常運(yùn)營(yíng)的技術(shù)基礎(chǔ)結(jié)構(gòu)。個(gè)別事務(wù)能夠很快地完成，并且只需訪問(wèn)相對(duì)較少的數(shù)據(jù)。OLTP系統(tǒng)旨在處理同時(shí)輸入的成百上千的事務(wù)。OLTP系統(tǒng)中的數(shù)據(jù)主要被組織為支持一些事務(wù)性的數(shù)據(jù)操作，完成基礎(chǔ)業(yè)務(wù)數(shù)據(jù)的增、刪、改及簡(jiǎn)單

3、的查詢操作，這些操作往往是基于關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)操作。包括的應(yīng)用系統(tǒng)小型的有如MIS、OA系統(tǒng)、電子商務(wù)交易系統(tǒng)、財(cái)務(wù)系統(tǒng)、eHR等；大型的如ERP、BOSS等。這類(lèi)應(yīng)用系統(tǒng)對(duì)響應(yīng)時(shí)間要求比較高，強(qiáng)調(diào)的是密集數(shù)據(jù)更新處理的性能和系統(tǒng)的可靠性及效率。定義特征應(yīng)用領(lǐng)域什么是OLAP（聯(lián)機(jī)分析處理）？聯(lián)機(jī)分析處理（OLAP）的概念最早是由關(guān)系數(shù)據(jù)庫(kù)之父E.F.Codd于1993年提出的。當(dāng)時(shí)，Codd認(rèn)為聯(lián)機(jī)事務(wù)處理(OLTP）已不能滿足終端用戶對(duì)數(shù)據(jù)庫(kù)復(fù)雜查詢分析的需要，SQL對(duì)大數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢也不能

4、滿足用戶分析的需求。用戶的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求，因此Codd提出了多維數(shù)據(jù)庫(kù)和多維分析的概念即OLAP。OLAP是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果，OLAP的技術(shù)核心就是“維度”這個(gè)概念。基本多維分析操作有鉆?。╮ollup和drilldown）、切片（slice）和切塊（dice）、以及旋轉(zhuǎn)（pivot）、drillacross、drillthrough等。鉆取是改變維的層次，變換

5、分析的粒度。它包括向上鉆?。╮ollup）和向下鉆取（drilldown）。切片和切塊是在一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余維上的分布。旋轉(zhuǎn)是變換維的方向，即在表格中重新安排維的放置（例如行列互換）。ROLAP表示基于關(guān)系數(shù)據(jù)庫(kù)的OLAP實(shí)現(xiàn)（RelationalOLAP）。以關(guān)系數(shù)據(jù)庫(kù)為核心,以關(guān)系型結(jié)構(gòu)進(jìn)行多維數(shù)據(jù)的表示和存儲(chǔ)MOLAP表示基于多維數(shù)據(jù)結(jié)構(gòu)組織的OLAP實(shí)現(xiàn)（MultidimensionalOLAP）MOLAP使用多維數(shù)組存儲(chǔ)數(shù)據(jù)。HOLAP表示基于混合數(shù)據(jù)組織的OLAP實(shí)現(xiàn)（

6、HybridOLAP）。如低層是關(guān)系型的，高層是多維矩陣型的。這種方式具有更好的靈活性。定義OLAP操作OLAP存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)建立“五步法”二、確定度量它們一般為數(shù)值型數(shù)據(jù)。我們或者將該數(shù)據(jù)匯總，或者將該數(shù)據(jù)取次數(shù)、獨(dú)立次數(shù)或取最大最小值等，這樣的數(shù)據(jù)稱為量度。量度是要統(tǒng)計(jì)的指標(biāo)，必須事先選擇恰當(dāng)，基于不同的量度可以進(jìn)行復(fù)雜關(guān)鍵性能指標(biāo)(KPI)等的設(shè)計(jì)和計(jì)算。在確定了主題以后，我們將考慮要分析的技術(shù)指標(biāo)，諸如年銷(xiāo)售額之類(lèi)數(shù)據(jù)倉(cāng)庫(kù)建立“五步法”三、確定事實(shí)數(shù)據(jù)粒度例如：假設(shè)目前的數(shù)據(jù)最小記錄到秒，即數(shù)據(jù)

7、庫(kù)中記錄了每一秒的交易額。那么，如果我們可以確認(rèn)，在將來(lái)的分析需求中，時(shí)間只需要精確到天就可以的話，我們就可以在ETL處理過(guò)程中，按天來(lái)匯總數(shù)據(jù)，此時(shí)，數(shù)據(jù)倉(cāng)庫(kù)中量度的粒度就是“天”;反過(guò)來(lái)，如果我們不能確認(rèn)將來(lái)的分析需求在時(shí)間上是否需要精確到秒，那么，我們就需要遵循“最小粒度原則”，在數(shù)據(jù)倉(cāng)庫(kù)的事實(shí)表中保留每一秒的數(shù)據(jù)，以便日后對(duì)“秒”進(jìn)行分析。在采用“最小粒度原則”的同時(shí)，我們不必?fù)?dān)心海量數(shù)據(jù)所帶來(lái)的匯總分析效率問(wèn)題，因?yàn)樵诤罄m(xù)建立多維分析模型(CUBE)的時(shí)候，我們會(huì)對(duì)數(shù)據(jù)提前進(jìn)行匯總，從而保障

8、產(chǎn)生分析結(jié)果的效率。關(guān)于建立多維分析模型(CUBE)的相關(guān)問(wèn)題，我們將在下期欄目中予以闡述。在確定了量度之后，我們要考慮到該量度的匯總情況和不同維度下量度的聚合情況。考慮到量度的聚合程度不同，我們將采用“最小粒度原則”，即將量度的粒度設(shè)置到最小。數(shù)據(jù)倉(cāng)庫(kù)建立“五步法”四、確定維度這里我們首先要確定維度的層次(Hierarchy)和級(jí)別(Level)(圖四：pic4.bmp)。如圖所示，我們?cè)跁r(shí)間維度上，按照“年-季度-月”形成了一個(gè)層次，其中“年”、“季