反饋神經(jīng)網(wǎng)絡(luò)課件.ppt

《反饋神經(jīng)網(wǎng)絡(luò)課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、第四章反饋神經(jīng)網(wǎng)絡(luò)本章首先介紹Elman網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)，然后介紹Boltzmann機(jī)模型及其工作規(guī)則和學(xué)習(xí)算法。第四章反饋神經(jīng)網(wǎng)絡(luò)§4.1前言§4.2Elman神經(jīng)網(wǎng)絡(luò)§4.3Hopfield神經(jīng)網(wǎng)絡(luò)§4.4Boltzmann模型及其工作規(guī)則§4.5Boltzmann機(jī)的學(xué)習(xí)規(guī)則§4.6小結(jié)2§4.1前言反饋網(wǎng)絡(luò)又稱遞歸網(wǎng)絡(luò)，或回歸網(wǎng)絡(luò)。在反饋網(wǎng)絡(luò)（FeedbackNNs）中，輸入信號(hào)決定反饋系統(tǒng)的初始狀態(tài)，然后系統(tǒng)經(jīng)過(guò)一系列狀態(tài)轉(zhuǎn)換以后，逐漸收斂于平衡狀態(tài)。這樣的平衡狀態(tài)就是反饋網(wǎng)絡(luò)經(jīng)計(jì)算后的輸出結(jié)果，由此可見(jiàn)，穩(wěn)定性是反饋網(wǎng)絡(luò)中最重要的問(wèn)題之一。如果能找到網(wǎng)

2、絡(luò)的Lyapunov函數(shù)，則能保證網(wǎng)絡(luò)從任意的初始狀態(tài)都能收斂到局部最小點(diǎn)。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用最廣的模型，它具有聯(lián)想記憶的功能。如果把Lyapunov函數(shù)定義為尋優(yōu)函數(shù)的話，Hopfield網(wǎng)絡(luò)還可用來(lái)解決快速尋優(yōu)問(wèn)題。3§4.1前言為收斂后的輸出值為節(jié)點(diǎn)的輸入(初始值)在這類網(wǎng)絡(luò)中，多個(gè)神經(jīng)元互連以組成一個(gè)互連神經(jīng)網(wǎng)絡(luò)，如右圖所示。表示節(jié)點(diǎn)的狀態(tài)返回有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元。因此，信號(hào)能夠從正向和反向流通。Elman網(wǎng)絡(luò)和Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最有代表性的例子。4§4.2Elman神經(jīng)網(wǎng)絡(luò)左圖給出了Elman神經(jīng)

3、網(wǎng)絡(luò)的結(jié)構(gòu)，這種網(wǎng)絡(luò)具有與多層前饋網(wǎng)絡(luò)相似的多層結(jié)構(gòu)。5§4.2Elman神經(jīng)網(wǎng)絡(luò)在這種網(wǎng)絡(luò)中，除了普通的隱層外，還有一個(gè)特殊的隱層，有時(shí)被稱為上下文層或狀態(tài)層。該層從普通隱層接收反饋信號(hào)，上下文層內(nèi)的神經(jīng)元輸出被前饋至隱層。如果只有正向連接是適用的，而反饋連接設(shè)定為恒值，那么這些網(wǎng)絡(luò)可視為普通的前饋網(wǎng)絡(luò)。可以用BP算法進(jìn)行訓(xùn)練；否則，可采用遺傳算法。返回6§4.3Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)狀態(tài)的演變過(guò)程是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，可以用一組非線性差分方程（對(duì)于離散型Hopfield神經(jīng)網(wǎng)絡(luò)）或微分方程（對(duì)于連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)）來(lái)描述。系統(tǒng)的穩(wěn)

4、定性可用所謂的“能量函數(shù)”（即李雅普諾夫或哈密頓函數(shù)）進(jìn)行分析。在滿足一定條件下，某種“能量函數(shù)”的能量在網(wǎng)絡(luò)運(yùn)行過(guò)程中不斷地減小，最后趨于穩(wěn)定的平衡狀態(tài)。7離散型Hopfield神經(jīng)網(wǎng)絡(luò)為網(wǎng)絡(luò)的狀態(tài)矢量，其分量是n個(gè)神經(jīng)元的輸出，僅取+1或－1二值。為網(wǎng)絡(luò)的閾值矢量。為網(wǎng)絡(luò)的連接權(quán)矩陣表示第i個(gè)神經(jīng)元到第j個(gè)神經(jīng)元的連接權(quán)，為對(duì)稱矩陣若則網(wǎng)絡(luò)為無(wú)自反饋的，否則，為有自反饋的8網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式離散型反饋網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)離散型Hopfield神經(jīng)網(wǎng)絡(luò)9(1)網(wǎng)絡(luò)的狀態(tài)DHNN網(wǎng)中的每個(gè)神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用xj表示。j=1,2,…,n所有神經(jīng)元狀態(tài)的集合就

5、構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)X=[x1,x2,…,xn]T反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為X(0)=[x1(0),x2(0),…,xn(0)]T反饋網(wǎng)絡(luò)在外界輸入激發(fā)下，從初始狀態(tài)進(jìn)入動(dòng)態(tài)演變過(guò)程，變化規(guī)律為10j=1,2,…,nDHNN網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號(hào)函數(shù)式中凈輸入為j=1,2,…,n對(duì)于DHNN網(wǎng)，一般有wii=0，wij=wji。反饋網(wǎng)絡(luò)穩(wěn)定時(shí)每個(gè)神經(jīng)元的狀態(tài)都不再改變，此時(shí)的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出，表示為11(2)網(wǎng)絡(luò)的異步工作方式網(wǎng)絡(luò)運(yùn)行時(shí)每次只有一個(gè)神經(jīng)元進(jìn)行狀態(tài)的調(diào)整計(jì)算，其它神經(jīng)元的狀態(tài)均保持不變，即(3)網(wǎng)絡(luò)的同步工作方式網(wǎng)絡(luò)的同步工作方式是一種并行

6、方式，所有神經(jīng)元同時(shí)調(diào)整狀態(tài)，即j=1,2,…,n121.網(wǎng)絡(luò)的穩(wěn)定性DHNN網(wǎng)絡(luò)實(shí)質(zhì)上是一個(gè)離散的非線性動(dòng)力學(xué)系統(tǒng)。網(wǎng)絡(luò)從初態(tài)X(0)開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，即X(t+1)＝X(t)，則稱該網(wǎng)絡(luò)是穩(wěn)定的。如果網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個(gè)穩(wěn)態(tài)。網(wǎng)絡(luò)的穩(wěn)定性與吸引子13若網(wǎng)絡(luò)是不穩(wěn)定的，由于DHNN網(wǎng)每個(gè)節(jié)點(diǎn)的狀態(tài)只有1和-1兩種情況，網(wǎng)絡(luò)不可能出現(xiàn)無(wú)限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡(luò)稱為有限環(huán)網(wǎng)絡(luò)。如果網(wǎng)絡(luò)狀態(tài)的軌跡在某個(gè)確定的范圍內(nèi)變遷，但既不重復(fù)也不停止，狀態(tài)變化為無(wú)窮多個(gè)，軌跡也不發(fā)散到無(wú)窮遠(yuǎn)，這種現(xiàn)象稱為渾沌。14網(wǎng)

7、絡(luò)達(dá)到穩(wěn)定時(shí)的狀態(tài)X，稱為網(wǎng)絡(luò)的吸引子。如果把吸引子視為問(wèn)題的解，從初態(tài)朝吸引子演變的過(guò)程便是求解計(jì)算的過(guò)程。若把需記憶的樣本信息存儲(chǔ)于網(wǎng)絡(luò)不同的吸引子，當(dāng)輸入含有部分記憶信息的樣本時(shí)，網(wǎng)絡(luò)的演變過(guò)程便是從部分信息尋找全部信息，即聯(lián)想回憶的過(guò)程。定義4.1若網(wǎng)絡(luò)的狀態(tài)X滿足X=f(WX-T)則稱X為網(wǎng)絡(luò)的吸引子。吸引子與能量函數(shù)15定理4.1對(duì)于DHNN網(wǎng)，若按異步方式調(diào)整網(wǎng)絡(luò)狀態(tài)，且連接權(quán)矩陣W為對(duì)稱陣，則對(duì)于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個(gè)吸引子。證明：定義網(wǎng)絡(luò)的能量函數(shù)為：令網(wǎng)絡(luò)的能量改變量為ΔE，狀態(tài)改變量為