反饋神經(jīng)網(wǎng)絡(luò)課件.ppt

《反饋神經(jīng)網(wǎng)絡(luò)課件.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、根據(jù)神經(jīng)網(wǎng)絡(luò)運行過程中的信息流向，可分為前饋式和反饋式兩種基本類型。前饋網(wǎng)絡(luò)的輸出僅由當(dāng)前輸入和權(quán)矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無關(guān)。美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來人們將這種反饋網(wǎng)絡(luò)稱作Hopfield網(wǎng)。在其中引入了能量函數(shù)概念，這對ANN研究具有重大意義，使得網(wǎng)絡(luò)運行穩(wěn)定性判斷有了可靠依據(jù)。1985年，hopfield與D.W.Tank合作用模擬電子線路實現(xiàn)了Hopfield網(wǎng)絡(luò)，成功求解了優(yōu)化組合中著名的TSP問題，對NN發(fā)展貢獻(xiàn)巨大。ANN學(xué)習(xí)方法有3種

2、：有導(dǎo)師、無導(dǎo)師和死記硬背式。前兩種分別在第3章的BP網(wǎng)絡(luò)和第4章的SOM網(wǎng)絡(luò)涉及，最后一種方法的網(wǎng)絡(luò)權(quán)值不是經(jīng)過反復(fù)學(xué)習(xí)獲得，而是一旦確定就不再改變，Hopfield網(wǎng)絡(luò)就采用該種學(xué)習(xí)方法。網(wǎng)絡(luò)中各神經(jīng)元狀態(tài)不斷變化，直到穩(wěn)定時的狀態(tài)就是問題的解。Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)，本書主要討論前一種類型。6.1.1網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式單層全反饋網(wǎng)絡(luò)：離散型

3、反饋網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.1離散型Hopfield神經(jīng)網(wǎng)絡(luò)有n個神經(jīng)元，每個神經(jīng)元輸出均通過連接權(quán)wij反饋至所有神經(jīng)元xj作為輸入。即每個神經(jīng)元都接受所有神經(jīng)元輸出反饋回來的信息，使得各神經(jīng)元相互制約。每個神經(jīng)元都有一個閾值Tj，對噪聲加以控制。因此DHNN網(wǎng)可以簡記為N=（W，T）。(1)網(wǎng)絡(luò)的狀態(tài)DHNN網(wǎng)中的每個神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用xj表示。j=1,2,…,n所有神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)X=[x1,x2,…,xn]T反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為X(0)=[x1(0),x2(0)

4、,…,xn(0)]T反饋網(wǎng)絡(luò)在外界輸入激發(fā)下，從初始狀態(tài)進(jìn)入動態(tài)演變過程，變化規(guī)律為f為傳遞函數(shù)j=1,2,…,n(6.1)DHNN網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號函數(shù)式中凈輸入為j=1,2,…,n(6.2)對于DHNN網(wǎng)，一般有wii=0，wij=wji。反饋網(wǎng)絡(luò)穩(wěn)定時每個神經(jīng)元的狀態(tài)都不再改變，此時的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出，表示為(2)網(wǎng)絡(luò)的異步工作方式(6.3)(3)網(wǎng)絡(luò)的同步工作方式網(wǎng)絡(luò)的同步工作方式是一種并行方式，所有神經(jīng)元同時調(diào)整狀態(tài)，即j=1,2,…,n(6.4)網(wǎng)絡(luò)運行時每次只有一個神經(jīng)元j進(jìn)行狀態(tài)的調(diào)整計算，其它神經(jīng)元

5、的狀態(tài)均保持不變，即一、網(wǎng)絡(luò)的穩(wěn)定性DHNN網(wǎng)實質(zhì)上是一個離散的非線性動力學(xué)系統(tǒng)。網(wǎng)絡(luò)從初態(tài)X(0)開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，即X(t+1)＝X(t)，則稱該網(wǎng)絡(luò)是穩(wěn)定的。如果網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)：6.1.2網(wǎng)絡(luò)的穩(wěn)定性與吸引子反饋網(wǎng)絡(luò)作為非線性動力學(xué)系統(tǒng)，具有豐富的動態(tài)特性，如穩(wěn)定性、有限環(huán)狀態(tài)和混沌狀態(tài)等。若網(wǎng)絡(luò)是不穩(wěn)定的，由于DHNN網(wǎng)每個節(jié)點的狀態(tài)只有1和-1兩種情況，網(wǎng)絡(luò)不可能出現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡(luò)稱為有限環(huán)網(wǎng)絡(luò)。如果網(wǎng)絡(luò)狀態(tài)的軌跡在某個確

6、定的范圍內(nèi)變遷，但既不重復(fù)也不停止，狀態(tài)變化為無窮多個，軌跡也不發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象稱為混沌。網(wǎng)絡(luò)達(dá)到穩(wěn)定時的狀態(tài)X，稱為網(wǎng)絡(luò)的吸引子。如果把問題的解編碼為網(wǎng)絡(luò)的吸引子，從初態(tài)向吸引子演變的過程便是求解計算的過程。若把需記憶的樣本信息存儲于網(wǎng)絡(luò)不同的吸引子，當(dāng)輸入含有部分記憶信息的樣本時，網(wǎng)絡(luò)的演變過程便是從部分信息尋找全部信息，即聯(lián)想回憶的過程。定義6.1若網(wǎng)絡(luò)的狀態(tài)X滿足X=f(WX-T)則稱X為網(wǎng)絡(luò)的吸引子。二、吸引子與能量函數(shù)定理6.1對于DHNN網(wǎng)，若按異步方式調(diào)整網(wǎng)絡(luò)狀態(tài)，且連接權(quán)矩陣W為對稱陣，則對于任意初態(tài)，

7、網(wǎng)絡(luò)都最終收斂到一個吸引子。定理6.1證明：定義網(wǎng)絡(luò)的能量函數(shù)為：(6.5)令網(wǎng)絡(luò)的能量改變量為ΔE，狀態(tài)改變量為ΔX，有(6.6)(6.7)將式(6.4)、(6.6)代入(6.5)，則網(wǎng)絡(luò)能量可進(jìn)一步展開為(6.8)將代入上式，并考慮到W為對稱矩陣，有(6.9)上式中可能出現(xiàn)的情況：情況a：xj(t)=-1,xj(t+1)=1,由式(6.7)得Δxj(t)=2,由式(6.1)知，netj(t)≧0，代入式(6.9)，得ΔE(t)≦0。情況b：xj(t)=1,xj(t+1)=-1,所以Δxj(t)=-2,由式(6.1)知，ne

8、tj(t)<0，代入式(6.9)，得ΔE(t)<0。情況c：xj(t)=xj(t+1),所以Δxj(t)=0,代入式(6.9)，從而有ΔE(t)=0。由此可知在任何情況下均有ΔE(t)≦0。簡化：由于網(wǎng)絡(luò)中各節(jié)點的狀態(tài)只能取1或–1，能量函數(shù)E(t)作為網(wǎng)絡(luò)狀態(tài)的函數(shù)是有下界