神經(jīng)網(wǎng)絡 第五章反饋神經(jīng)網(wǎng)絡

《神經(jīng)網(wǎng)絡 第五章反饋神經(jīng)網(wǎng)絡》由會員上傳分享，免費在線閱讀，更多相關內容在行業(yè)資料-天天文庫。

1、第五章反饋神經(jīng)網(wǎng)絡第五章反饋神經(jīng)網(wǎng)絡§5.1前言§5.2Hopfield神經(jīng)網(wǎng)絡§5.3Boltzmann模型§5.4小結2§5.1前言反饋網(wǎng)絡又稱遞歸網(wǎng)絡，或回歸網(wǎng)絡。在反饋網(wǎng)絡（FeedbackNNs）中，輸入信號決定反饋系統(tǒng)的初始狀態(tài)，然后系統(tǒng)經(jīng)過一系列狀態(tài)轉換以后，逐漸收斂于平衡狀態(tài)。這樣的平衡狀態(tài)就是反饋網(wǎng)絡經(jīng)計算后的輸出結果，由此可見，穩(wěn)定性是反饋網(wǎng)絡中最重要的問題之一。如果能找到網(wǎng)絡的Lyapunov函數(shù)，則能保證網(wǎng)絡從任意的初始狀態(tài)都能收斂到局部最小點。Hopfield神經(jīng)網(wǎng)絡是反饋網(wǎng)絡中最簡單且應用最廣的模型，它具有聯(lián)想記憶的功能。如果把Ly

2、apunov函數(shù)定義為尋優(yōu)函數(shù)的話，Hopfield網(wǎng)絡還可用來解決快速尋優(yōu)問題。3§5.1前言為收斂后的輸出值為節(jié)點的輸入(初始值)在這類網(wǎng)絡中，多個神經(jīng)元互連以組成一個互連神經(jīng)網(wǎng)絡，如右圖所示。表示節(jié)點的狀態(tài)返回有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元。因此，信號能夠從正向和反向流通。Hopfield神經(jīng)網(wǎng)絡是反饋網(wǎng)絡中最有代表性的例子。4§5.2Hopfield神經(jīng)網(wǎng)絡Hopfield神經(jīng)網(wǎng)絡是美國物理學家J.J.Hopfield于1982年首先提出的。它主要用于模擬生物神經(jīng)網(wǎng)絡的記憶機理。Hopfield網(wǎng)絡是一種全連接型的神經(jīng)網(wǎng)絡。對于每一個神經(jīng)元來

3、說，自己的輸出信號通過其它神經(jīng)元又反饋到自己，所以Hopfield網(wǎng)絡是一種反饋型神經(jīng)網(wǎng)絡。Hopfield神經(jīng)網(wǎng)絡可分為離散型(DHNN)和連續(xù)型（CHNN）兩種。5§5.2Hopfield神經(jīng)網(wǎng)絡Hopfield神經(jīng)網(wǎng)絡狀態(tài)的演變過程是一個非線性動力學系統(tǒng)，可以用一組非線性差分方程（對于離散型Hopfield神經(jīng)網(wǎng)絡）或微分方程（對于連續(xù)型Hopfield神經(jīng)網(wǎng)絡）來描述。系統(tǒng)的穩(wěn)定性可用所謂的“能量函數(shù)”（即李雅普諾夫或哈密頓函數(shù)）進行分析。在滿足一定條件下，某種“能量函數(shù)”的能量在網(wǎng)絡運行過程中不斷地減小，最后趨于穩(wěn)定的平衡狀態(tài)。6離散型Hopfiel

4、d神經(jīng)網(wǎng)絡是一種單層的、輸入輸出為二值的反饋網(wǎng)絡，它主要用于聯(lián)想記憶，其結構如圖所示。離散型Hopfield神經(jīng)網(wǎng)絡為網(wǎng)絡的狀態(tài)矢量，其分量是n個神經(jīng)元的輸出，僅取+1或－1二值。為網(wǎng)絡的閾值矢量。為網(wǎng)絡的連接權矩陣表示第i個神經(jīng)元到第j個神經(jīng)元的連接權，為對稱矩陣若則網(wǎng)絡為無自反饋的，否則，為有自反饋的7網(wǎng)絡的結構與工作方式離散型反饋網(wǎng)絡的拓撲結構離散型Hopfield神經(jīng)網(wǎng)絡8(1)網(wǎng)絡的狀態(tài)DHNN網(wǎng)中的每個神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用xj表示。j=1,2,…,n所有神經(jīng)元狀態(tài)的集合就構成反饋網(wǎng)絡的狀態(tài)X=[x1,x2,…,xn]T反饋網(wǎng)絡的

5、輸入就是網(wǎng)絡的狀態(tài)初始值，表示為X(0)=[x1(0),x2(0),…,xn(0)]T反饋網(wǎng)絡在外界輸入激發(fā)下，從初始狀態(tài)進入動態(tài)演變過程，變化規(guī)律為9j=1,2,…,nDHNN網(wǎng)的轉移函數(shù)常采用符號函數(shù)式中凈輸入為j=1,2,…,n對于DHNN網(wǎng)，一般有wii=0，wij=wji。反饋網(wǎng)絡穩(wěn)定時每個神經(jīng)元的狀態(tài)都不再改變，此時的穩(wěn)定狀態(tài)就是網(wǎng)絡的輸出，表示為10(2)網(wǎng)絡的異步工作方式網(wǎng)絡運行時每次只有一個神經(jīng)元進行狀態(tài)的調整計算，其它神經(jīng)元的狀態(tài)均保持不變，即(3)網(wǎng)絡的同步工作方式網(wǎng)絡的同步工作方式是一種并行方式，所有神經(jīng)元同時調整狀態(tài)，即j=1,2,…

6、,n111.網(wǎng)絡的穩(wěn)定性DHNN網(wǎng)實質上是一個離散的非線性動力學系統(tǒng)。網(wǎng)絡從初態(tài)X(0)開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，即X(t+1)＝X(t)，則稱該網(wǎng)絡是穩(wěn)定的。如果網(wǎng)絡是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)：網(wǎng)絡的穩(wěn)定性與吸引子12若網(wǎng)絡是不穩(wěn)定的，由于DHNN網(wǎng)每個節(jié)點的狀態(tài)只有1和-1兩種情況，網(wǎng)絡不可能出現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡稱為有限環(huán)網(wǎng)絡。如果網(wǎng)絡狀態(tài)的軌跡在某個確定的范圍內變遷，但既不重復也不停止，狀態(tài)變化為無窮多個，軌跡也不發(fā)散到無窮遠，這種現(xiàn)象稱為渾沌。13網(wǎng)絡達到穩(wěn)定時的狀態(tài)X，稱為網(wǎng)絡的吸

7、引子。如果把吸引子視為問題的解，從初態(tài)朝吸引子演變的過程便是求解計算的過程。若把需記憶的樣本信息存儲于網(wǎng)絡不同的吸引子，當輸入含有部分記憶信息的樣本時，網(wǎng)絡的演變過程便是從部分信息尋找全部信息，即聯(lián)想回憶的過程。定義5.1若網(wǎng)絡的狀態(tài)X滿足X=f(WX-T)則稱X為網(wǎng)絡的吸引子。吸引子與能量函數(shù)14定理5.1對于DHNN網(wǎng)，若按異步方式調整網(wǎng)絡狀態(tài)，且連接權矩陣W為對稱陣，則對于任意初態(tài)，網(wǎng)絡都最終收斂到一個吸引子。證明：定義網(wǎng)絡的能量函數(shù)為：令網(wǎng)絡的能量改變量為ΔE，狀態(tài)改變量為ΔX，有15則網(wǎng)絡能量可進一步展開為將代入上式，并考慮到W為對稱矩陣，有16上式

8、中可能出現(xiàn)的情況：情況a：xj(t)=