《自組織神經(jīng)網(wǎng)絡(luò)》PPT課件

《《自組織神經(jīng)網(wǎng)絡(luò)》PPT課件》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、4自組織神經(jīng)網(wǎng)絡(luò)采用有導(dǎo)師學(xué)習(xí)規(guī)則的神經(jīng)網(wǎng)絡(luò)是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法準(zhǔn)則。而在很多情況下，人在認(rèn)知過程中沒有預(yù)知的正確模式，人獲得大量知識常常是靠“無師自通”，即通過對客觀事物的反復(fù)觀察，分析與比較，自行揭示其內(nèi)在規(guī)律，并對具有共同特征的事物進(jìn)行正確歸類。對于人的這種學(xué)習(xí)方式，基于有導(dǎo)師學(xué)習(xí)策略的神經(jīng)網(wǎng)絡(luò)是無能為力的。自組織神經(jīng)網(wǎng)絡(luò)的無導(dǎo)師學(xué)習(xí)方式更類似于人類大腦中生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，其最重要特點(diǎn)是通過自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。這種學(xué)習(xí)方式大大拓

2、寬神經(jīng)網(wǎng)絡(luò)在模式識別與分類方面的應(yīng)用。自組織網(wǎng)結(jié)構(gòu)上屬于層次型網(wǎng)絡(luò)，有多種類型。如：自組織特征映射（SelfOrganizingFeatureMap）網(wǎng)絡(luò)—SOM）；對偶（向）傳播（CounterPropagationNetwork)網(wǎng)絡(luò)—CPN)；自適應(yīng)共振理論（AdaptiveResonanceTheory)網(wǎng)絡(luò)—ART等。其共同特點(diǎn)是都具有競爭層。最簡單的網(wǎng)絡(luò)結(jié)構(gòu)具有一個(gè)輸入層和一個(gè)競爭層。輸入模式輸出模式競爭層輸入層負(fù)責(zé)接受外界信息并將輸入模式向競爭層傳遞，起觀察作用。競爭層負(fù)責(zé)對該模式進(jìn)

3、行“分析比較”，找出規(guī)律以正確分類。這種功能是通過下面要介紹的競爭機(jī)制實(shí)現(xiàn)的。競爭學(xué)習(xí)是自組織網(wǎng)絡(luò)中最常用的一種學(xué)習(xí)策略，首先說明與之相關(guān)的幾個(gè)基本概念。4.1.1基本概念4.1.1.1模式、分類、聚類與相似性模式：一般當(dāng)網(wǎng)絡(luò)涉及識別、分類問題時(shí)，常用輸入模式（而不稱輸入樣本）；分類：將待識別的輸入模式劃分為各自的模式類中去；聚類：無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類；相似性：輸入模式的聚類依據(jù)。4.1.1.2相似性測量神經(jīng)網(wǎng)絡(luò)的輸入模式用向量表示，比較不同模式的相似性可

4、轉(zhuǎn)化為比較兩個(gè)向量的距離，因而可用模式向量間的距離作為聚類判據(jù)。模式識別中常用到的兩種聚類判據(jù)是歐式最小距離法和余弦法。4.1競爭學(xué)習(xí)的概念與原理（1）歐式距離法X和Xi兩向量歐式距離:兩個(gè)模式向量的歐式距離越小，兩個(gè)模式越相似，當(dāng)兩個(gè)模式完全相同時(shí)，其歐式距離為零。如果對同一類內(nèi)各個(gè)模式向量間的歐式距離作出規(guī)定，不允許超過某一最大值T，則最大歐式距離T就成為一種聚類判據(jù)。（2）余弦法計(jì)算兩個(gè)模式向量夾角的余弦：兩個(gè)模式向量越接近，其類角越小，余弦越大。當(dāng)兩個(gè)模式向量完全相同時(shí)，其夾角余弦為1。若

5、同類內(nèi)各模式向量間的夾角規(guī)定不大于ΨT，則Ψ成為一種聚類判據(jù)。余弦法適合模式向量長度相同或模式特征只與向量方向相關(guān)的相似性測量。4.1.1.3側(cè)抑制與競爭自組織網(wǎng)絡(luò)（競爭型神經(jīng)網(wǎng)絡(luò)）構(gòu)成的基本思想是網(wǎng)絡(luò)的競爭層各神經(jīng)元競爭對輸入模式響應(yīng)的機(jī)會，最后僅有一個(gè)神經(jīng)元成為競爭的“勝者”，這一獲勝神經(jīng)元?jiǎng)t表示對輸入模式的識別?！w現(xiàn)了物生神經(jīng)細(xì)胞的側(cè)抑制競爭機(jī)制。實(shí)驗(yàn)表明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側(cè)抑制現(xiàn)象，即，當(dāng)一個(gè)神經(jīng)細(xì)胞興奮后，會對其周圍的神經(jīng)細(xì)胞產(chǎn)生抑制作用。這種側(cè)抑制使神經(jīng)細(xì)胞之間呈現(xiàn)

6、出競爭，開始時(shí)可能多個(gè)細(xì)胞同時(shí)興奮，但一個(gè)興奮程度最強(qiáng)的神經(jīng)細(xì)胞對周圍神經(jīng)細(xì)胞的抑制作用也最強(qiáng)，其結(jié)果使其周圍神經(jīng)細(xì)胞興奮程度減弱，從而該神經(jīng)細(xì)胞是這次競爭的“勝者”，其它神經(jīng)細(xì)胞在競爭中失敗。最強(qiáng)的抑制關(guān)系是競爭獲勝者“惟我獨(dú)興”，不允許其它神經(jīng)元興奮，這種抑制方式也稱為勝者為王。自組織網(wǎng)絡(luò)在競爭層神經(jīng)元之間的連線，它們是模擬生物神經(jīng)網(wǎng)絡(luò)層內(nèi)神經(jīng)元相互抑制現(xiàn)象的權(quán)值，這類抑制性權(quán)值滿足一定的分布關(guān)系，如距離近的抑制強(qiáng)，距離遠(yuǎn)的抑制弱。這種權(quán)值（或說側(cè)抑制關(guān)系）一般是固定的，訓(xùn)練過程中不需要調(diào)整，

7、在各類自組織網(wǎng)絡(luò)拓樸圖中一般予以省略。（不省略時(shí)，也只看成抑制關(guān)系的表示，不作為網(wǎng)絡(luò)權(quán)來訓(xùn)練）。4.1.1.4向量歸一化不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向不變長度為1的單位向量。單位向量進(jìn)行比較時(shí)，只需比較向量的夾角。X向量的歸一化：4、1、2競爭學(xué)習(xí)原理（規(guī)則）競爭學(xué)習(xí)采用的規(guī)則是勝者為王，該算法可分為3個(gè)步驟。得到：(1)向量歸一化將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向量X和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量Wj(j=1,2,…m)全部進(jìn)行歸一化處理。(2)尋找獲勝神經(jīng)元此式看

8、出，欲兩單位向量的歐式距離最小，須使兩向量的點(diǎn)積最大。即因此，求最小歐式距離的問題就轉(zhuǎn)化為按此式求最大點(diǎn)積的問題，而且權(quán)向量與輸入向量的點(diǎn)積正是競爭層神經(jīng)元的凈輸入。(3)網(wǎng)絡(luò)輸出與權(quán)值調(diào)整勝者為王競爭學(xué)習(xí)算法規(guī)定，獲勝神經(jīng)元輸出為1，其余輸出為零。即只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量，調(diào)整后權(quán)向量為式中為學(xué)習(xí)章，一般其值隨著學(xué)習(xí)的進(jìn)展而減小?？梢钥闯?，當(dāng)時(shí)，對應(yīng)神經(jīng)無的權(quán)值得不到調(diào)整，其實(shí)質(zhì)是“勝者”對它們進(jìn)行了強(qiáng)測抑制，不允許它們興奮。應(yīng)注意，歸一化后的權(quán)向量經(jīng)過調(diào)整后得到的新向