機器學(xué)習與知識發(fā)現(xiàn)課件.ppt

《機器學(xué)習與知識發(fā)現(xiàn)課件.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第四篇學(xué)習與發(fā)現(xiàn)學(xué)習是系統(tǒng)積累經(jīng)驗或運用規(guī)律指導(dǎo)自己的行為或改進自身性能的過程。發(fā)現(xiàn)是系統(tǒng)從接收的信息中發(fā)現(xiàn)規(guī)律的過程。人工智能中的機器學(xué)習(machinelearning)主要指機器對自身行為的修正或性能的改善（類似于人類的技能訓(xùn)練和對環(huán)境的適應(yīng)）和機器對客觀規(guī)律的發(fā)現(xiàn)（類似與人類的科學(xué)發(fā)現(xiàn)）。10/6/20211機器學(xué)習主要分為符號學(xué)習連接學(xué)習統(tǒng)計學(xué)習機器對于客觀規(guī)律的發(fā)現(xiàn)，也稱為知識發(fā)現(xiàn)(KnowledgeDiscovery,KD)。數(shù)據(jù)挖掘(DataMining)是知識發(fā)現(xiàn)的一個重要研究和應(yīng)用領(lǐng)域。目前的機器學(xué)習主要是機器的直接發(fā)現(xiàn)性學(xué)習，而間接性繼承機器學(xué)習需要“

2、理解”為基礎(chǔ)。10/6/20212第9章機器學(xué)習與知識發(fā)現(xiàn)9.1機器學(xué)習概述9.2符號學(xué)習9.3神經(jīng)網(wǎng)絡(luò)學(xué)習9.4知識發(fā)現(xiàn)與數(shù)據(jù)挖掘10/6/202139.1機器學(xué)習概述9.1.1機器學(xué)習的概念9.1.2機器學(xué)習的原理9.1.3機器學(xué)習的分類10/6/202149.1.1機器學(xué)習的概念心理學(xué)中對學(xué)習的解釋是：學(xué)習是指（人或動物）依靠經(jīng)驗的獲得而使行為持久變化的過程。Simon認為：如果一個系統(tǒng)能夠通過執(zhí)行某種過程而改進它的性能，這就是學(xué)習。Minsky認為：學(xué)習是在人們頭腦中（心理內(nèi)部）進行有用的變化。TomM.Mitchell在《機器學(xué)習》一書中對學(xué)習的定義是：對于某類任

3、務(wù)T和性能度P，如果一個計算機程序在T上以P衡量的性能隨著經(jīng)驗E而自我完善，那么，我們稱這個計算機程序從經(jīng)驗E中學(xué)習。當前關(guān)于機器學(xué)習的許多文獻中也大都認為：學(xué)習是系統(tǒng)積累經(jīng)驗以改善其自身性能的過程。10/6/20215總之：①學(xué)習與經(jīng)驗有關(guān)；②學(xué)習可以改善系統(tǒng)性能；③學(xué)習是一個有反饋的信息處理與控制過程。因為經(jīng)驗是在系統(tǒng)與環(huán)境的交互過程中產(chǎn)生的，而經(jīng)驗中應(yīng)該包含系統(tǒng)輸入、響應(yīng)和效果等信息。因此經(jīng)驗的積累、性能的完善正是通過重復(fù)這一過程而實現(xiàn)的。10/6/202169.1.2機器學(xué)習的原理圖9-1機器學(xué)習原理1②③①記憶學(xué)習、基于范例的學(xué)習希望能在積累的經(jīng)驗中發(fā)現(xiàn)規(guī)律（知識

4、），然后利用知識來指導(dǎo)行為經(jīng)驗積累過程緩慢經(jīng)驗不可靠10/6/20217圖9-2機器學(xué)習原理210/6/20218圖9-3機器學(xué)習原理310/6/20219圖9-4機器學(xué)習原理410/6/202110圖9-5機器學(xué)習原理510/6/2021119.1.3機器學(xué)習的分類1.基于學(xué)習策略的分類（1）模擬人腦的機器學(xué)習●符號學(xué)習：模擬人腦的宏觀心理級學(xué)習過程，以認知心理學(xué)原理為基礎(chǔ)，以符號數(shù)據(jù)為輸入，以符號運算為方法，用推理過程在圖或狀態(tài)空間中搜索，學(xué)習的目標為概念或規(guī)則等。符號學(xué)習的典型方法有：記憶學(xué)習、示例學(xué)習、演繹學(xué)習、類比學(xué)習、解釋學(xué)習等。●神經(jīng)網(wǎng)絡(luò)學(xué)習（或連接學(xué)習）：模

5、擬人腦的微觀生理級學(xué)習過程，以腦和神經(jīng)科學(xué)原理為基礎(chǔ)，以人工神經(jīng)網(wǎng)絡(luò)為函數(shù)結(jié)構(gòu)模型，以數(shù)值數(shù)據(jù)為輸入，以數(shù)值運算為方法，用迭代過程在系數(shù)向量空間中搜索，學(xué)習的目標為函數(shù)。典型的連接學(xué)習有權(quán)值修正學(xué)習、拓撲結(jié)構(gòu)學(xué)習。10/6/202112（2）直接采用數(shù)學(xué)方法的機器學(xué)習●主要有統(tǒng)計機器學(xué)習（貝葉斯學(xué)習、貝葉斯網(wǎng)絡(luò)學(xué)習、幾何分類學(xué)習、支持向量機SVM）。2.基于學(xué)習方法的分類（1）歸納學(xué)習●符號歸納學(xué)習：典型的符號歸納學(xué)習有示例學(xué)習，決策樹學(xué)習。●函數(shù)歸納學(xué)習（發(fā)現(xiàn)學(xué)習）：典型的函數(shù)歸納學(xué)習有神經(jīng)網(wǎng)絡(luò)學(xué)習、示例學(xué)習，發(fā)現(xiàn)學(xué)習，統(tǒng)計學(xué)習。（2）演繹學(xué)習（3）類比學(xué)習：典型的類比學(xué)

6、習有案例（范例）學(xué)習。（4）分析學(xué)習：典型的分析學(xué)習有案例（范例）學(xué)習、解釋學(xué)習。10/6/2021133.基于學(xué)習方式的分類（1）有導(dǎo)師學(xué)習（監(jiān)督學(xué)習）：輸入數(shù)據(jù)中有導(dǎo)師信號，以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡(luò)為基函數(shù)模型，采用迭代計算方法，學(xué)習結(jié)果為函數(shù)。（2）無導(dǎo)師學(xué)習（非監(jiān)督學(xué)習）：輸入數(shù)據(jù)中無導(dǎo)師信號，采用聚類方法，學(xué)習結(jié)果為類別。典型的無導(dǎo)師學(xué)習有發(fā)現(xiàn)學(xué)習、聚類、競爭學(xué)習等。（3）強化學(xué)習（增強學(xué)習）：以環(huán)境反饋（獎/懲信號）作為輸入，以統(tǒng)計和動態(tài)規(guī)劃技術(shù)為指導(dǎo)的一種學(xué)習方法。10/6/2021144.基于數(shù)據(jù)形式的分類（1）結(jié)構(gòu)化學(xué)習：以結(jié)構(gòu)化數(shù)據(jù)為輸入，以數(shù)

7、值計算或符號推演為方法。典型的結(jié)構(gòu)化學(xué)習有神經(jīng)網(wǎng)絡(luò)學(xué)習、統(tǒng)計學(xué)習、決策樹學(xué)習、規(guī)則學(xué)習。（2）非結(jié)構(gòu)化學(xué)習：以非結(jié)構(gòu)化數(shù)據(jù)為輸入，典型的非結(jié)構(gòu)化學(xué)習有類比學(xué)習、案例學(xué)習、解釋學(xué)習、文本挖掘、圖像挖掘、Web挖掘等。10/6/2021155.基于學(xué)習目標的分類（1）概念學(xué)習：即學(xué)習的目標和結(jié)果為概念，或者說是為了獲得概念的一種學(xué)習。典型的概念學(xué)習有示例學(xué)習。（2）規(guī)則學(xué)習：即學(xué)習的目標和結(jié)果為規(guī)則，或者說是為了獲得規(guī)則的一種學(xué)習。典型的規(guī)則學(xué)習有決策樹學(xué)習。（3）函數(shù)學(xué)習：即學(xué)習的目標和結(jié)果為規(guī)則，或者說是為了獲得函