實時數(shù)據(jù)倉庫

《實時數(shù)據(jù)倉庫》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、實時數(shù)據(jù)倉庫調(diào)研報告北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室林子雨北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日提綱?與實時數(shù)據(jù)倉庫相關(guān)的概念?實時數(shù)據(jù)倉庫面臨的挑戰(zhàn)?連續(xù)數(shù)據(jù)集成?總結(jié)?參考文獻(xiàn)北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日數(shù)據(jù)倉庫的5個發(fā)展階段12345報表階段分析階段預(yù)測階段實時決策階段主動決策階段ReportingAnalysisPredictionOperationalizeActivate北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日與實時數(shù)據(jù)倉庫相關(guān)的概念主動數(shù)據(jù)倉庫ActiveDataWarehouse及時數(shù)據(jù)倉庫相關(guān)

2、概念Right-timeDataWarehouse實時數(shù)據(jù)倉庫Real-timeDataWarehouse北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日與實時數(shù)據(jù)倉庫相關(guān)的概念實時數(shù)據(jù)倉庫?MichaelHaisten首先提出實時數(shù)據(jù)倉庫的概念?在數(shù)據(jù)倉庫中保持兩類數(shù)據(jù)，靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)?靜態(tài)數(shù)據(jù)：滿足用戶的查詢分析要求?動態(tài)數(shù)據(jù)：為了實時性，可以實時更新，并做相應(yīng)轉(zhuǎn)換，滿足用戶對“最后一分鐘”數(shù)據(jù)的實時請求?其他定義……[11]總結(jié)：實時數(shù)據(jù)倉庫是這樣一個系統(tǒng)，只要行為發(fā)生，數(shù)據(jù)就變得可用，就能從中獲得信息。北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2

3、006年8月18日數(shù)據(jù)倉庫相關(guān)概念區(qū)分及時數(shù)據(jù)倉庫?數(shù)據(jù)更新周期介于“實時和每天一次”之間[9]?在特定的商務(wù)問題提出時，就能馬上給出答案?從及時數(shù)據(jù)倉庫中得到的答案，能夠幫助組織做出帶來巨大收益的決策?為了回答這些事先設(shè)計的特定的商務(wù)問題，需要在數(shù)據(jù)倉庫中預(yù)先存儲該商務(wù)問題所需的集成的數(shù)據(jù)(比如一天一次或15分鐘一次)?從技術(shù)角度講，不存在實時數(shù)據(jù)倉庫北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日與實時數(shù)據(jù)倉庫相關(guān)的概念主動數(shù)據(jù)倉庫?主動數(shù)據(jù)倉庫是一個關(guān)系型數(shù)據(jù)倉庫環(huán)境，支持：[8]?數(shù)據(jù)的實時更新?快速的響應(yīng)時間?基于鉆取的聚集數(shù)據(jù)查詢能

4、力?動態(tài)的交互能力北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日與實時數(shù)據(jù)倉庫相關(guān)的概念?主動數(shù)據(jù)倉庫(ActiveDataWarehouse)?及時數(shù)據(jù)倉庫(Right-timeDataWarehouse)?實時數(shù)據(jù)倉庫(Real-timeDataWarehouse)主動數(shù)據(jù)倉庫及時數(shù)據(jù)倉庫實時數(shù)據(jù)倉庫更新方式實時及時實時自動規(guī)則觸發(fā)有無無[注]注：某些廠商在其實時數(shù)據(jù)倉庫解決方案中包含自動規(guī)則觸發(fā)功能，但仍采用“實時數(shù)據(jù)倉庫”的名稱，而實際上已經(jīng)等同于“主動數(shù)據(jù)倉庫”。北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日提綱?與實時數(shù)據(jù)倉庫相

5、關(guān)的概念?實時數(shù)據(jù)倉庫面臨的挑戰(zhàn)?連續(xù)數(shù)據(jù)集成?總結(jié)?參考文獻(xiàn)北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日實時數(shù)據(jù)倉庫面臨的挑戰(zhàn)和解決方案北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日實時數(shù)據(jù)倉庫面臨的挑戰(zhàn)和解決方案挑戰(zhàn)1–支持實時ETL挑戰(zhàn)2–實時數(shù)據(jù)的建模挑戰(zhàn)3–OLAP查詢和變化的數(shù)據(jù)挑戰(zhàn)4–可擴(kuò)展性和查詢競爭挑戰(zhàn)5–實時報警北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日挑戰(zhàn)1：支持實時ETL批處理ETL實時ETL–幾乎所有的ETL工具和系–不可能允許存在系統(tǒng)的當(dāng)統(tǒng)，不管是現(xiàn)成的產(chǎn)品還機(jī)時間是定制編碼的，都是以批處理方式工作–沒有

6、當(dāng)機(jī)的情況下對數(shù)據(jù)問題描述倉庫進(jìn)行連續(xù)更新，通常–ETL過程通常需要數(shù)據(jù)倉與傳統(tǒng)的ETL工具和系統(tǒng)庫暫時當(dāng)機(jī)，停止對外服的設(shè)計理念是相互沖突的務(wù)北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日挑戰(zhàn)1：支持實時ETL23直接流水注入式流水和跳躍式14準(zhǔn)實時ETL外部實時數(shù)據(jù)緩存實時ETL北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日挑戰(zhàn)1：支持實時ETL解決方案1：準(zhǔn)實時ETL?根本不考慮采用真正實時的ETL?并不是所有的問題都需要實時的答案?因?qū)崟r而引起的開銷可能超出由實時而帶來準(zhǔn)實時ETL的收益?對于某些應(yīng)用，只要簡單地提高現(xiàn)有的數(shù)據(jù)加載的

7、頻率即可?當(dāng)不需要嚴(yán)格的實時時，準(zhǔn)實時是一個比較可行的解決方案北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日挑戰(zhàn)1：支持實時ETL數(shù)據(jù)源解決方案2：直接流水注入式[15]數(shù)據(jù)源ETL?把從源系統(tǒng)產(chǎn)生的新數(shù)據(jù)象水流數(shù)據(jù)源一樣直接注入到數(shù)據(jù)倉庫?可以直接在數(shù)據(jù)庫倉庫事實表中插入或更新數(shù)據(jù)數(shù)據(jù)倉庫?也可以把數(shù)據(jù)插入到實時分區(qū)當(dāng)中的單獨(dú)的事實表中?--------缺點(diǎn)---------140128?可擴(kuò)展性不好，復(fù)雜查詢和連續(xù)116120插入及更新混在一起進(jìn)行會嚴(yán)重影102.71009593預(yù)測1767680預(yù)測2響數(shù)據(jù)庫的性能60604000年05

8、年10年15年北京大學(xué)計算機(jī)系數(shù)據(jù)庫實驗室2006年8月18日挑戰(zhàn)1：支持實時ETL解決方案3：流水和跳躍式數(shù)據(jù)源把數(shù)據(jù)連續(xù)地注入到階段存儲表數(shù)據(jù)源E