金融行業(yè)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例.ppt

《金融行業(yè)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例2021/7/221內(nèi)容提要（一）自我介紹（二）案例背景（三）期望的數(shù)據(jù)倉(cāng)庫(kù)（四）數(shù)據(jù)倉(cāng)庫(kù)建設(shè)實(shí)踐2021/7/2222021/7/223案例背景中國(guó)大型商業(yè)銀行信貸應(yīng)用與分析系統(tǒng)系統(tǒng)構(gòu)建了全行的信貸數(shù)據(jù)倉(cāng)庫(kù)（總行）。系統(tǒng)建立了全行450個(gè)信貸數(shù)據(jù)集市。基于全國(guó)每個(gè)地市級(jí)分行建立信貸數(shù)據(jù)分析中心。數(shù)據(jù)規(guī)模6T，數(shù)據(jù)以500G/年的數(shù)據(jù)增長(zhǎng)。系統(tǒng)已運(yùn)行八年。系統(tǒng)用戶20,000+。系統(tǒng)累計(jì)投資5億+。系統(tǒng)采用ROLAP模型，采用BusinessObjects為分析工具，采用Informix為數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，采用Domino/Notes為應(yīng)用平臺(tái)。2021/7

2、/224案例背景信貸系統(tǒng)目前的體系結(jié)構(gòu)2021/7/225案例背景一個(gè)典型的ETL流程2021/7/226期望的數(shù)據(jù)倉(cāng)庫(kù)大家期望的數(shù)據(jù)倉(cāng)庫(kù)是什么？數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目無(wú)法作為形象工程！數(shù)據(jù)倉(cāng)庫(kù)類(lèi)型的系統(tǒng)無(wú)法在短期內(nèi)看到效益，無(wú)法在短期內(nèi)提供有效的回報(bào)，數(shù)據(jù)倉(cāng)庫(kù)類(lèi)型的系統(tǒng)建成后需要一個(gè)較長(zhǎng)的時(shí)間來(lái)使用和積累，才能發(fā)揮作用。數(shù)據(jù)倉(cāng)庫(kù)不是報(bào)表系統(tǒng)！數(shù)據(jù)倉(cāng)庫(kù)是面向主題的面向分析的系統(tǒng)，不是日常的報(bào)表系統(tǒng)，數(shù)據(jù)倉(cāng)庫(kù)在于從業(yè)務(wù)的角度上發(fā)現(xiàn)問(wèn)題，分析問(wèn)題，解決問(wèn)題。報(bào)表系統(tǒng)在于真實(shí)的反映日常的運(yùn)行狀況，要求高效快捷，無(wú)須深入分析和挖掘。數(shù)據(jù)倉(cāng)庫(kù)能干什么！數(shù)據(jù)倉(cāng)庫(kù)用來(lái)分析業(yè)務(wù)數(shù)據(jù)的潛在關(guān)系，用

3、來(lái)指導(dǎo)業(yè)務(wù)人員思考和分析，用來(lái)發(fā)現(xiàn)問(wèn)題，指導(dǎo)業(yè)務(wù)的開(kāi)展和改造。雖然這些成果都是以報(bào)表、圖表、圖示的方式展現(xiàn)出來(lái)，但這些展現(xiàn)方式都是表層，以這些展現(xiàn)方式來(lái)展現(xiàn)數(shù)據(jù)背后的關(guān)系才是數(shù)據(jù)倉(cāng)庫(kù)的用途。根據(jù)Bill.Inmon的定義，“數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、穩(wěn)定的、隨時(shí)間變化的，主要用于決策支持的數(shù)據(jù)庫(kù)系統(tǒng)”。2021/7/227期望的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)用以更好地支持企業(yè)決策分析處理的、面向主題的、集成的、不可更新的、隨時(shí)間不斷變化的、分離維護(hù)的數(shù)據(jù)集合。--W.H.Inmon2021/7/228期望的數(shù)據(jù)倉(cāng)庫(kù)現(xiàn)實(shí)中的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)包括哪些部分？數(shù)據(jù)采集部分直接的數(shù)據(jù)采集

4、、其他系統(tǒng)作為數(shù)據(jù)源等ETL數(shù)據(jù)整合部分?jǐn)?shù)據(jù)匯總、清洗、轉(zhuǎn)換，當(dāng)然還包括數(shù)據(jù)傳輸、數(shù)據(jù)匯集、分發(fā)、校驗(yàn)、過(guò)濾、過(guò)程記錄等。采用工具還是自己開(kāi)發(fā)。重點(diǎn)關(guān)注效率問(wèn)題數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)系統(tǒng)部分大型存儲(chǔ)設(shè)備、高運(yùn)算能力的服務(wù)器等設(shè)備數(shù)據(jù)庫(kù)軟件平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市、集中數(shù)據(jù)與分布數(shù)據(jù)重點(diǎn)關(guān)注效率問(wèn)題數(shù)據(jù)倉(cāng)庫(kù)展現(xiàn)分析部分主流分析展現(xiàn)工具。定制功能的工具開(kāi)發(fā)。2021/7/229期望的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目中的角色企業(yè)最高領(lǐng)導(dǎo)團(tuán)隊(duì)你是否打算建設(shè)成為形象工程？這是你重大決策的原動(dòng)力、而不是你的秘書(shū)。你是否有足夠的耐心和準(zhǔn)備，來(lái)建設(shè)這個(gè)長(zhǎng)期性的項(xiàng)目。數(shù)據(jù)提供部門(mén)如何解決我為別人服務(wù)的問(wèn)題。如何

5、解決數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目成為了我的負(fù)擔(dān)。如何解決數(shù)據(jù)準(zhǔn)確性和時(shí)效性。系統(tǒng)建設(shè)部門(mén)如何理解數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的建設(shè)過(guò)程。如何面對(duì)模糊的需求、巨大的數(shù)據(jù)量、異想天開(kāi)的要求。如果不要陷入運(yùn)行泥潭。數(shù)據(jù)使用部門(mén)數(shù)據(jù)為什么總是有問(wèn)題為什么我總是無(wú)法應(yīng)用系統(tǒng)為什么他什么都做不到2021/7/2210期望的數(shù)據(jù)倉(cāng)庫(kù)成功的數(shù)據(jù)倉(cāng)庫(kù)：面向過(guò)程的開(kāi)發(fā)方法2021/7/2211期望的數(shù)據(jù)倉(cāng)庫(kù)成功的數(shù)據(jù)倉(cāng)庫(kù)：結(jié)構(gòu)化元數(shù)據(jù)管理數(shù)據(jù)挖掘主管信息系統(tǒng)設(shè)計(jì)建模抽取清洗轉(zhuǎn)換加載數(shù)據(jù)倉(cāng)庫(kù)信息展現(xiàn)業(yè)務(wù)流程物理模型邏輯模型聯(lián)機(jī)分析處理報(bào)表、即席查詢(xún)咨詢(xún)服務(wù)IntelligentInfrastructure外部數(shù)據(jù)企業(yè)信息門(mén)

6、戶內(nèi)部數(shù)據(jù)數(shù)據(jù)庫(kù)管理工具數(shù)據(jù)庫(kù)2021/7/2212期望的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)不僅僅是數(shù)據(jù)存儲(chǔ)加上一個(gè)查詢(xún)工具數(shù)據(jù)倉(cāng)庫(kù)不僅僅是產(chǎn)品服務(wù)+產(chǎn)品數(shù)據(jù)倉(cāng)庫(kù)的成功必須有正確的構(gòu)造方法為指導(dǎo)數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)造包括多方面的問(wèn)題基礎(chǔ)架構(gòu)(硬件、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò))規(guī)劃設(shè)計(jì)數(shù)據(jù)轉(zhuǎn)移數(shù)據(jù)訪問(wèn)(REPORT、OLAP、EIS、WEB)元數(shù)據(jù)管理數(shù)據(jù)挖掘系統(tǒng)管理2021/7/2213數(shù)據(jù)倉(cāng)庫(kù)建設(shè)實(shí)踐主要的建設(shè)階段：目標(biāo)調(diào)研、需求分析確立數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主題目標(biāo)分析業(yè)務(wù)需求，制定需求框架，逐步細(xì)化系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)技術(shù)構(gòu)架設(shè)計(jì)業(yè)務(wù)分析模型設(shè)計(jì)運(yùn)行、完善機(jī)制設(shè)計(jì)系統(tǒng)開(kāi)發(fā)和上線發(fā)布系統(tǒng)運(yùn)行、積累和完善系統(tǒng)的使用和運(yùn)行

7、；數(shù)據(jù)、分析的積累系統(tǒng)的再完善，數(shù)據(jù)重構(gòu)2021/7/2214數(shù)據(jù)倉(cāng)庫(kù)建設(shè)實(shí)踐目標(biāo)調(diào)研、需求分析：確立數(shù)據(jù)倉(cāng)庫(kù)的主題目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)不能包括所能想起來(lái)的所有目標(biāo)，要根據(jù)企業(yè)的實(shí)施能力、分析能力、數(shù)據(jù)基礎(chǔ)制定合理的建設(shè)目標(biāo)，建議按照目標(biāo)的可實(shí)現(xiàn)度分布建設(shè)。分析業(yè)務(wù)需求、制定需求框架、逐步細(xì)化分析具體業(yè)務(wù)需求，對(duì)于無(wú)法確定的需求，要首先制定需求框架，給系統(tǒng)體系設(shè)計(jì)提供指標(biāo)估算。在項(xiàng)目的設(shè)計(jì)和建設(shè)中可逐步細(xì)化局體需求條目。2021/7/2215數(shù)據(jù)倉(cāng)庫(kù)建設(shè)實(shí)踐系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)技術(shù)構(gòu)架設(shè)計(jì)系統(tǒng)規(guī)模評(píng)估系統(tǒng)技術(shù)構(gòu)架選型系統(tǒng)存儲(chǔ)、服務(wù)器選型系統(tǒng)軟件平