資源描述:
《機(jī)器學(xué)習(xí)與知識(shí)發(fā)現(xiàn)61機(jī)器學(xué)習(xí)概述62符號(hào)學(xué)習(xí)》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、第6章機(jī)器學(xué)習(xí)與知識(shí)發(fā)現(xiàn)6.1機(jī)器學(xué)習(xí)概述6.2符號(hào)學(xué)習(xí)6.3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)6.4知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘6.1機(jī)器學(xué)習(xí)概述6.1.1機(jī)器學(xué)習(xí)的概念心理學(xué)中對(duì)學(xué)習(xí)的解釋是:學(xué)習(xí)是指(人或動(dòng)物)依靠經(jīng)驗(yàn)的獲得而使行為持久變化的過(guò)程。Simon認(rèn)為:如果一個(gè)系統(tǒng)能夠通過(guò)執(zhí)行某種過(guò)程而改進(jìn)它的性能,這就是學(xué)習(xí)。Minsky認(rèn)為:學(xué)習(xí)是在人們頭腦中(心理內(nèi)部)進(jìn)行有用的變化。TomM.Mitchell在《機(jī)器學(xué)習(xí)》一書中對(duì)學(xué)習(xí)的定義是:對(duì)于某類任務(wù)T和性能度P,如果一個(gè)計(jì)算機(jī)程序在T上以P衡量的性能隨著經(jīng)驗(yàn)E而自我完善,那么,我們稱這個(gè)計(jì)算機(jī)程序從經(jīng)驗(yàn)E中學(xué)習(xí)。當(dāng)前關(guān)于機(jī)器學(xué)習(xí)的許多文獻(xiàn)中也大都認(rèn)為:學(xué)習(xí)
2、是系統(tǒng)積累經(jīng)驗(yàn)以改善其自身性能的過(guò)程??傊孩賹W(xué)習(xí)與經(jīng)驗(yàn)有關(guān);②學(xué)習(xí)可以改善系統(tǒng)性能;③學(xué)習(xí)是一個(gè)有反饋的信息處理與控制過(guò)程。因?yàn)榻?jīng)驗(yàn)是在系統(tǒng)與環(huán)境的交互過(guò)程中產(chǎn)生的,而經(jīng)驗(yàn)中應(yīng)該包含系統(tǒng)輸入、響應(yīng)和效果等信息。因此經(jīng)驗(yàn)的積累、性能的完善正是通過(guò)重復(fù)這一過(guò)程而實(shí)現(xiàn)的。6.1.2機(jī)器學(xué)習(xí)的原理圖9-1機(jī)器學(xué)習(xí)原理1圖9-2機(jī)器學(xué)習(xí)原理2圖9-3機(jī)器學(xué)習(xí)原理3圖9-4機(jī)器學(xué)習(xí)原理4圖9-5機(jī)器學(xué)習(xí)原理56.1.3機(jī)器學(xué)習(xí)的分類1.基于學(xué)習(xí)策略的分類(1)模擬人腦的機(jī)器學(xué)習(xí)●符號(hào)學(xué)習(xí):模擬人腦的宏觀心理級(jí)學(xué)習(xí)過(guò)程,以認(rèn)知心理學(xué)原理為基礎(chǔ),以符號(hào)數(shù)據(jù)為輸入,以符號(hào)運(yùn)算為方法,用推理過(guò)程在圖或狀態(tài)空
3、間中搜索,學(xué)習(xí)的目標(biāo)為概念或規(guī)則等。符號(hào)學(xué)習(xí)的典型方法有:記憶學(xué)習(xí)、示例學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)等?!裆窠?jīng)網(wǎng)絡(luò)學(xué)習(xí)(或連接學(xué)習(xí)):模擬人腦的微觀生理級(jí)學(xué)習(xí)過(guò)程,以腦和神經(jīng)科學(xué)原理為基礎(chǔ),以人工神經(jīng)網(wǎng)絡(luò)為函數(shù)結(jié)構(gòu)模型,以數(shù)值數(shù)據(jù)為輸入,以數(shù)值運(yùn)算為方法,用迭代過(guò)程在系數(shù)向量空間中搜索,學(xué)習(xí)的目標(biāo)為函數(shù)。典型的連接學(xué)習(xí)有權(quán)值修正學(xué)習(xí)、拓?fù)浣Y(jié)構(gòu)學(xué)習(xí)。(2)直接采用數(shù)學(xué)方法的機(jī)器學(xué)習(xí)●主要有統(tǒng)計(jì)機(jī)器學(xué)習(xí)。2.基于學(xué)習(xí)方法的分類(1)歸納學(xué)習(xí)●符號(hào)歸納學(xué)習(xí):典型的符號(hào)歸納學(xué)習(xí)有示例學(xué)習(xí),決策樹(shù)學(xué)習(xí)?!窈瘮?shù)歸納學(xué)習(xí)(發(fā)現(xiàn)學(xué)習(xí)):典型的函數(shù)歸納學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、示例學(xué)習(xí),發(fā)現(xiàn)學(xué)習(xí),統(tǒng)計(jì)學(xué)習(xí)。
4、(2)演繹學(xué)習(xí)(3)類比學(xué)習(xí):典型的類比學(xué)習(xí)有案例(范例)學(xué)習(xí)。(4)分析學(xué)習(xí):典型的分析學(xué)習(xí)有案例(范例)學(xué)習(xí)、解釋學(xué)習(xí)。3.基于學(xué)習(xí)方式的分類(1)有導(dǎo)師學(xué)習(xí)(監(jiān)督學(xué)習(xí)):輸入數(shù)據(jù)中有導(dǎo)師信號(hào),以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡(luò)為基函數(shù)模型,采用迭代計(jì)算方法,學(xué)習(xí)結(jié)果為函數(shù)。(2)無(wú)導(dǎo)師學(xué)習(xí)(非監(jiān)督學(xué)習(xí)):輸入數(shù)據(jù)中無(wú)導(dǎo)師信號(hào),采用聚類方法,學(xué)習(xí)結(jié)果為類別。典型的無(wú)導(dǎo)師學(xué)習(xí)有發(fā)現(xiàn)學(xué)習(xí)、聚類、競(jìng)爭(zhēng)學(xué)習(xí)等。(3)強(qiáng)化學(xué)習(xí)(增強(qiáng)學(xué)習(xí)):以環(huán)境反饋(獎(jiǎng)/懲信號(hào))作為輸入,以統(tǒng)計(jì)和動(dòng)態(tài)規(guī)劃技術(shù)為指導(dǎo)的一種學(xué)習(xí)方法。4.基于數(shù)據(jù)形式的分類(1)結(jié)構(gòu)化學(xué)習(xí):以結(jié)構(gòu)化數(shù)據(jù)為輸入,以數(shù)值計(jì)算或符號(hào)推演為
5、方法。典型的結(jié)構(gòu)化學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)、決策樹(shù)學(xué)習(xí)、規(guī)則學(xué)習(xí)。(2)非結(jié)構(gòu)化學(xué)習(xí):以非結(jié)構(gòu)化數(shù)據(jù)為輸入,典型的非結(jié)構(gòu)化學(xué)習(xí)有類比學(xué)習(xí)、案例學(xué)習(xí)、解釋學(xué)習(xí)、文本挖掘、圖像挖掘、Web挖掘等。5.基于學(xué)習(xí)目標(biāo)的分類(1)概念學(xué)習(xí):即學(xué)習(xí)的目標(biāo)和結(jié)果為概念,或者說(shuō)是為了獲得概念的一種學(xué)習(xí)。典型的概念學(xué)習(xí)有示例學(xué)習(xí)。(2)規(guī)則學(xué)習(xí):即學(xué)習(xí)的目標(biāo)和結(jié)果為規(guī)則,或者說(shuō)是為了獲得規(guī)則的一種學(xué)習(xí)。典型的規(guī)則學(xué)習(xí)有決策樹(shù)學(xué)習(xí)。(3)函數(shù)學(xué)習(xí):即學(xué)習(xí)的目標(biāo)和結(jié)果為規(guī)則,或者說(shuō)是為了獲得函數(shù)的一種學(xué)習(xí)。典型的函數(shù)學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。(4)類別學(xué)習(xí):即學(xué)習(xí)的目標(biāo)和結(jié)果為對(duì)象類,或者說(shuō)是為了獲得類別的一種學(xué)
6、習(xí)。典型的類別學(xué)習(xí)有聚類分析。(5)貝葉斯網(wǎng)絡(luò)學(xué)習(xí):即學(xué)習(xí)的目標(biāo)和結(jié)果是貝葉斯網(wǎng)絡(luò),或者說(shuō)是為了獲得貝葉斯網(wǎng)絡(luò)的一種學(xué)習(xí)。其又可分為結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)。6.2符號(hào)學(xué)習(xí)6.2.1記憶學(xué)習(xí)記憶學(xué)習(xí)方法簡(jiǎn)單,但學(xué)習(xí)系統(tǒng)需要幾種能力:(1)能實(shí)現(xiàn)有組織的存儲(chǔ)信息。(2)能進(jìn)行信息綜合。(3)能控制檢索方向。當(dāng)存儲(chǔ)對(duì)象愈多時(shí),其中可能有多個(gè)對(duì)象與給定的6.2.2示例學(xué)習(xí)示例學(xué)習(xí)也稱實(shí)例學(xué)習(xí),它是一種歸納學(xué)習(xí)。示例學(xué)習(xí)是從若干實(shí)例(包括正例和反例)中歸納出一般概念或規(guī)則的學(xué)習(xí)方法。圖9-6第一個(gè)拱橋的語(yǔ)義網(wǎng)絡(luò)圖9-7第二個(gè)拱橋的語(yǔ)義網(wǎng)絡(luò)圖9-8學(xué)習(xí)程序歸納出的語(yǔ)義網(wǎng)絡(luò)圖9-9拱橋概念的語(yǔ)義網(wǎng)絡(luò)例9.
7、1假設(shè)示例空間中有橋牌中"同花"概念的兩個(gè)示例:示例1:花色(c1,梅花)∧花色(c2,梅花)∧花色(c3,梅花)∧花色(c4,梅花)→同花(c1,c2,c3,c4)示例2:花色(c1,紅桃)∧花色(c2,紅桃)∧花色(c3,紅桃)∧花色(c4,紅桃)→同花(c1,c2,c3,c4)關(guān)于同花的一般性規(guī)則:花色(c1,x)∧花色(c2,x)∧花色(c3,x)∧花色(c4,x)→同花(c1,c2,c3,c4)對(duì)于這個(gè)問(wèn)題可