埃森哲數(shù)據(jù)分析方法論.ppt

《埃森哲數(shù)據(jù)分析方法論.ppt》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在PPT專區(qū)-天天文庫。

1、數(shù)據(jù)分析埃森哲觀點(diǎn)2014-5目錄概述數(shù)據(jù)分析框架數(shù)據(jù)分析方法數(shù)據(jù)理解&數(shù)據(jù)準(zhǔn)備數(shù)據(jù)分析支撐工具關(guān)聯(lián)分析聚類分析分類與回歸時(shí)序模型結(jié)構(gòu)優(yōu)化數(shù)據(jù)分析即從數(shù)據(jù)、信息到知識的過程，數(shù)據(jù)分析需要數(shù)學(xué)理論、行業(yè)經(jīng)驗(yàn)以及計(jì)算機(jī)工具三者結(jié)合分析誤區(qū)數(shù)據(jù)挖掘工具支撐數(shù)學(xué)&統(tǒng)計(jì)學(xué)知識行業(yè)經(jīng)驗(yàn)傳統(tǒng)分析機(jī)器學(xué)習(xí)數(shù)學(xué)&統(tǒng)計(jì)學(xué)知識數(shù)據(jù)分析的基礎(chǔ)，將整理、描述、預(yù)測數(shù)據(jù)的手段、過程抽象為數(shù)學(xué)模型的理論知識工具支撐各種廠商開發(fā)了數(shù)據(jù)分析的工具、模塊，將分析模型封裝，使不了解技術(shù)的人也能夠快捷的實(shí)現(xiàn)數(shù)學(xué)建模，快速響應(yīng)分析需求。行業(yè)經(jīng)驗(yàn)行業(yè)經(jīng)驗(yàn)可在數(shù)據(jù)分析前確定分析需求，分析中檢驗(yàn)方法是否合理，以及分析后指導(dǎo)應(yīng)用

2、，但行業(yè)特征不同，其應(yīng)用也不同，因此本文不展開介紹傳統(tǒng)分析在數(shù)據(jù)量較少時(shí)，傳統(tǒng)的數(shù)據(jù)分析已能夠發(fā)現(xiàn)數(shù)據(jù)中包含的知識，包括結(jié)構(gòu)分析、杜邦分析等模型，方法成熟，應(yīng)用廣泛，本文不展開介紹分析誤區(qū)不了解分析模型的數(shù)學(xué)原理，會導(dǎo)致錯誤的使用模型，而得出錯誤的分析結(jié)論，影響業(yè)務(wù)決策，因此在選用分析模型時(shí)，要深入了解該模型的原理和使用限制機(jī)器學(xué)習(xí)不需要人過多干預(yù)，通過計(jì)算機(jī)自動學(xué)習(xí)，發(fā)現(xiàn)數(shù)據(jù)規(guī)律，但結(jié)論不易控制。數(shù)據(jù)挖掘數(shù)據(jù)挖掘是挖掘數(shù)據(jù)背后隱藏的知識的重要手段隨著計(jì)算機(jī)技術(shù)發(fā)展和數(shù)據(jù)分析理論的更新，當(dāng)前的數(shù)據(jù)分析逐步成為機(jī)器語言、統(tǒng)計(jì)知識兩個學(xué)科的交集（備選）數(shù)據(jù)挖掘計(jì)算機(jī)技術(shù)統(tǒng)計(jì)學(xué)、人工智

3、能業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)挖掘就是充分利用了統(tǒng)計(jì)學(xué)和人工智能技術(shù)的應(yīng)用程序，并把這些高深復(fù)雜的技術(shù)封裝起來，使人們不用自己掌握這些技術(shù)也能完成同樣的功能，并且更專注于自己所要解決的問題。信息處理信息處理信息處理基于查詢，可以發(fā)現(xiàn)有用的信息。但是這種查詢的回答反映的是直接存放在數(shù)據(jù)庫中的信息。它們不反映復(fù)雜的模式，或隱藏在數(shù)據(jù)庫中的規(guī)律。傳統(tǒng)分析數(shù)據(jù)分析工具傳統(tǒng)分析在數(shù)據(jù)量較少時(shí)，傳統(tǒng)的數(shù)據(jù)分析已能夠發(fā)現(xiàn)數(shù)據(jù)中包含的知識，包括結(jié)構(gòu)分析、杜邦分析等模型，方法成熟，應(yīng)用廣泛，本文不展開介紹數(shù)據(jù)分析工具各種廠商開發(fā)了數(shù)據(jù)分析的工具、模塊，將分析模型封裝，使不了解技術(shù)的人也能夠快捷的實(shí)現(xiàn)數(shù)學(xué)建模，快速

4、響應(yīng)分析需求。隨著計(jì)算機(jī)科學(xué)的進(jìn)步，數(shù)據(jù)挖掘、商務(wù)智能、大數(shù)據(jù)等概念的出現(xiàn)，數(shù)據(jù)分析的手段和方法更加豐富一系列以事實(shí)為支持，輔助商業(yè)決策的技術(shù)和方法，曾用名包括專家系統(tǒng)、智能決策等一般由數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成對數(shù)據(jù)分析的體系化管理，數(shù)據(jù)分析的主體依然是數(shù)據(jù)挖掘結(jié)構(gòu)分析分組分析杜邦分析預(yù)警分析……常規(guī)分析揭示數(shù)據(jù)之間的靜態(tài)關(guān)系分析過程滯后對數(shù)據(jù)質(zhì)量要求高商務(wù)智能數(shù)據(jù)挖掘大數(shù)據(jù)技術(shù)數(shù)據(jù)可視化統(tǒng)計(jì)學(xué)和計(jì)算機(jī)技術(shù)等多學(xué)科的結(jié)合揭示數(shù)據(jù)之間隱藏的關(guān)系將數(shù)據(jù)分析的范圍從“已知”擴(kuò)展到“未知”，從“過去”推向“將來”從多種類型的數(shù)據(jù)中，快速獲取知識的能力數(shù)據(jù)

5、挖掘技術(shù)的衍生大數(shù)據(jù)時(shí)代，展示數(shù)據(jù)可以更好輔助理解數(shù)據(jù)、演繹數(shù)據(jù)本文在描述數(shù)據(jù)分析的流程后，重點(diǎn)介紹通用的數(shù)據(jù)分析方法和主流的應(yīng)用工具、軟件。隨著數(shù)據(jù)量的不斷擴(kuò)大，數(shù)據(jù)分析理論正處于飛速發(fā)展期，因此本文的方法側(cè)重于基礎(chǔ)原理介紹。數(shù)據(jù)分析目錄概述數(shù)據(jù)分析框架數(shù)據(jù)分析方法數(shù)據(jù)理解&數(shù)據(jù)準(zhǔn)備數(shù)據(jù)分析支撐工具關(guān)聯(lián)分析聚類分析分類與回歸時(shí)序模型結(jié)構(gòu)優(yōu)化1.業(yè)務(wù)理解(businessunderstanding）確定目標(biāo)、明確分析需求2.數(shù)據(jù)理解（dataunderstanding）收集原始數(shù)據(jù)、描述數(shù)據(jù)、探索數(shù)據(jù)、檢驗(yàn)數(shù)據(jù)質(zhì)量3.數(shù)據(jù)準(zhǔn)備(datapreparation)選擇數(shù)據(jù)、清洗數(shù)據(jù)、

6、構(gòu)造數(shù)據(jù)、整合數(shù)據(jù)、格式化數(shù)據(jù)4.建立模型(modeling）選擇建模技術(shù)、參數(shù)調(diào)優(yōu)、生成測試計(jì)劃、構(gòu)建模型5.評估模型(evaluation)對模型進(jìn)行較為全面的評價(jià)，評價(jià)結(jié)果、重審過程6.部署(deployment)分析結(jié)果應(yīng)用數(shù)據(jù)分析標(biāo)準(zhǔn)流程CRISP-DM為90年代由SIG組織（當(dāng)時(shí)）提出，已被業(yè)界廣泛認(rèn)可的數(shù)據(jù)分析流程。數(shù)據(jù)分析框架業(yè)務(wù)理解數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備建立模型理解業(yè)務(wù)背景，評估分析需求模型評估應(yīng)用理解業(yè)務(wù)背景：數(shù)據(jù)分析的本質(zhì)是服務(wù)于業(yè)務(wù)需求，如果沒有業(yè)務(wù)理解，缺乏業(yè)務(wù)指導(dǎo)，會導(dǎo)致分析無法落地。評估業(yè)務(wù)需求：判斷分析需求是否可以轉(zhuǎn)換為數(shù)據(jù)分析項(xiàng)目，某些需求是不能有效轉(zhuǎn)

7、換為數(shù)據(jù)分析項(xiàng)目的，比如不符合商業(yè)邏輯、數(shù)據(jù)不足、數(shù)據(jù)質(zhì)量極差等。數(shù)據(jù)收集數(shù)據(jù)清洗數(shù)據(jù)收集：抽取的數(shù)據(jù)必須能夠正確反映業(yè)務(wù)需求，否則分析結(jié)論會對業(yè)務(wù)將造成誤導(dǎo)。數(shù)據(jù)清洗：原始數(shù)據(jù)中存在數(shù)據(jù)缺失和壞數(shù)據(jù)，如果不處理會導(dǎo)致模型失效，因此對數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)數(shù)據(jù)探索數(shù)據(jù)轉(zhuǎn)換選擇方法、工具，建立模型建模過程評估模型結(jié)果評估分析結(jié)果應(yīng)用分析模型改進(jìn)探索數(shù)據(jù)：運(yùn)用統(tǒng)計(jì)方法對數(shù)據(jù)進(jìn)行探索，發(fā)現(xiàn)數(shù)據(jù)內(nèi)部規(guī)律。數(shù)據(jù)轉(zhuǎn)換：為了達(dá)到模型的輸入數(shù)據(jù)要求，需要對數(shù)據(jù)進(jìn)行轉(zhuǎn)換，包括生成衍