《數(shù)據(jù)挖掘概述 》ppt課件

《《數(shù)據(jù)挖掘概述 》ppt課件》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。

1、第11章數(shù)據(jù)挖掘概述Chapter11IntroductiontoDataMining徐從富(CongfuXu),PhD,Asso.Professor浙江大學人工智能研究所2005年5月17日第一稿2006年10月30日第二次修改浙江大學研究生《人工智能》課件內(nèi)容提綱數(shù)據(jù)挖掘介紹數(shù)據(jù)挖掘系統(tǒng)數(shù)據(jù)挖掘算法國際會議和期刊課后研讀的論文主要參考資料數(shù)據(jù)挖掘介紹數(shù)據(jù)挖掘的由來數(shù)據(jù)挖掘的應用基本概念區(qū)分數(shù)據(jù)挖掘基本內(nèi)容數(shù)據(jù)挖掘基本特征數(shù)據(jù)挖掘的其他主題數(shù)據(jù)挖掘的由來背景網(wǎng)絡之后的下一個技術熱點數(shù)據(jù)爆炸但知識貧乏從商業(yè)數(shù)據(jù)到商業(yè)信息的進化背景人類已進入一個嶄新的信息時代數(shù)據(jù)庫中存儲的數(shù)據(jù)量急劇膨

2、脹需要從海量數(shù)據(jù)庫和大量繁雜信息中提取有價值的知識，進一步提高信息的利用率產(chǎn)生了一個新的研究方向：基于數(shù)據(jù)庫的知識發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase），以及相應的數(shù)據(jù)挖掘（DataMining）理論和技術的研究隨著大數(shù)據(jù)庫的建立和海量數(shù)據(jù)的不斷涌現(xiàn)，必然提出對強有力的數(shù)據(jù)分析工具的迫切需求。但現(xiàn)實情況往往是“數(shù)據(jù)十分豐富，而信息相當貧乏?！笨焖僭鲩L的海量數(shù)據(jù)收集、存放在大型數(shù)據(jù)庫中，沒有強有力的工具，理解它們已經(jīng)遠遠超出人的能力。因此，有人稱之為：“數(shù)據(jù)墳墓”。由于專家系統(tǒng)工具過分依賴用戶或專家人工地將知識輸入知識庫中，而且分析結果往往帶有偏差和錯誤，再加

3、上耗時、費用高，故不可行。數(shù)據(jù)礦山信息金塊數(shù)據(jù)挖掘工具網(wǎng)絡之后的下一個技術熱點大量信息在給人們帶來方便的同時也帶來了一大堆問題：信息過量，難以消化信息真假難以辨識信息安全難以保證信息形式不一致，難以統(tǒng)一處理數(shù)據(jù)爆炸但知識貧乏隨著數(shù)據(jù)庫技術的迅速發(fā)展以及數(shù)據(jù)庫管理系統(tǒng)的廣泛應用，人們積累的數(shù)據(jù)越來越多。目前的數(shù)據(jù)庫系統(tǒng)可以高效地實現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計等功能，但無法發(fā)現(xiàn)數(shù)據(jù)中存在的關系和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預測未來的發(fā)展趨勢。缺乏挖掘數(shù)據(jù)背后隱藏的知識的手段，導致了“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象。從商業(yè)數(shù)據(jù)到商業(yè)信息的進化進化階段商業(yè)問題支持技術產(chǎn)品廠家產(chǎn)品特點數(shù)據(jù)搜集(60年代)

4、“過去五年中我的總收入是多少？”計算機、磁帶和磁盤IBMCDC提供歷史性的、靜態(tài)的數(shù)據(jù)信息數(shù)據(jù)訪問(80年代)“在新英格蘭的分部去年三月的銷售額是多少？”關系數(shù)據(jù)庫(RDBMS)結構化查詢語言(SQL)ODBCOracleSybaseInformixIBMMicrosoft在記錄級提供歷史性的、動態(tài)數(shù)據(jù)信息數(shù)據(jù)倉庫決策支持(90年代)“在新英格蘭的分部去年三月的銷售額是多少？波士頓據(jù)此可得出什么結論？”聯(lián)機分析處理(OLAP)多維數(shù)據(jù)庫數(shù)據(jù)倉庫PilotComshareArborCognosMicrostrategy在各種層次上提供回溯的、動態(tài)的數(shù)據(jù)信息數(shù)據(jù)挖掘（正在流行）“下個月

5、波士頓的銷售會怎么樣？為什么？”高級算法多處理器計算機海量數(shù)據(jù)庫PilotLockheedIBMSGI其他初創(chuàng)公司提供預測性的信息KDD的出現(xiàn)基于數(shù)據(jù)庫的知識發(fā)現(xiàn)（KDD）一詞首次出現(xiàn)在1989年舉行的第十一屆AAAI學術會議上。1995年在加拿大蒙特利爾召開了第一屆KDD國際學術會議（KDD’95）。由KluwersPublishers出版，1997年創(chuàng)刊的《KnowledgeDiscoveryandDataMining》是該領域中的第一本學術刊物。數(shù)據(jù)挖掘數(shù)據(jù)庫技術統(tǒng)計學高性能計算人工智能機器學習可視化數(shù)據(jù)挖掘是多學科的產(chǎn)物KDD已經(jīng)成為人工智能研究熱點目前，關于KDD的研究工作

6、已經(jīng)被眾多領域所關注，如過程控制、信息管理、商業(yè)、醫(yī)療、金融等領域。作為大規(guī)模數(shù)據(jù)庫中先進的數(shù)據(jù)分析工具，KDD的研究已經(jīng)成為數(shù)據(jù)庫及人工智能領域研究的一個熱點。數(shù)據(jù)挖掘的應用電信：流失銀行：聚類（細分）,交叉銷售百貨公司/超市：購物籃分析（關聯(lián)規(guī)則）保險：細分，交叉銷售，流失（原因分析）信用卡：欺詐探測，細分電子商務：網(wǎng)站日志分析稅務部門：偷漏稅行為探測警察機關：犯罪行為分析醫(yī)學：醫(yī)療保健英國電信需要發(fā)布一種新的產(chǎn)品，需要通過直郵的方式向客戶推薦這種產(chǎn)品。。。。。。使直郵的回應率提高了100％電信GUS日用品零售商店需要準確的預測未來的商品銷售量，降低庫存成本。。。。。。通過數(shù)據(jù)挖

7、掘的方法使庫存成本比原來減少了3.8%零售商店美國國內(nèi)稅務局需要提高對納稅人的服務水平。。。。。。合理安排稅務官的工作，為納稅人提供更迅捷、更準確的服務稅務局銀行金融事務需要搜集和處理大量的數(shù)據(jù)，由于銀行在金融領域的地位、工作性質、業(yè)務特點以及激烈的市場競爭決定了它對信息化、電子化比其它領域有更迫切的要求。利用數(shù)據(jù)挖掘技術可以幫助銀行產(chǎn)品開發(fā)部門描述客戶以往的需求趨勢，并預測未來。美國商業(yè)銀行是發(fā)達國家商業(yè)銀行的典范，許多地方值得我國學習和借鑒。數(shù)據(jù)挖掘在