資源描述：
《反饋型神經(jīng)網(wǎng)絡(luò)》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、反饋型神經(jīng)網(wǎng)絡(luò)1.前饋型與反饋型神經(jīng)網(wǎng)絡(luò)的比較(1)前饋型神經(jīng)網(wǎng)絡(luò)只表達(dá)輸入輸出之間的映射關(guān)系，實(shí)現(xiàn)非線性映射；反饋型神經(jīng)網(wǎng)絡(luò)考慮輸入輸出之間在時(shí)間上的延遲，需要用動態(tài)方程來描述，反饋型神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性動力學(xué)系統(tǒng)。(2)前饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練主要采用BP算法，計(jì)算過程和收斂速度比較慢；反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要采用Hebb規(guī)則，一般情況下計(jì)算的收斂速度很快，并且它與電子電路有明顯的對應(yīng)關(guān)系，使得網(wǎng)絡(luò)易于用硬件實(shí)現(xiàn)。(3)前饋型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的目的是快速收斂，一般用誤差函數(shù)來判定其收斂程度；
2、反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目的是快速尋找到穩(wěn)定點(diǎn)，一般用能量函數(shù)來判別是否趨于穩(wěn)定點(diǎn)。(4)兩者都有局部極小問題。2.反饋型神經(jīng)網(wǎng)絡(luò)模型一、網(wǎng)絡(luò)結(jié)構(gòu)單層全反饋型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸入輸出關(guān)系為：2.反饋型神經(jīng)網(wǎng)絡(luò)模型二、網(wǎng)絡(luò)狀態(tài)(1)軌跡經(jīng)過一段時(shí)間t(t>0)后不會再延伸，而永遠(yuǎn)停留在X(t0+t)狀態(tài)，這時(shí)稱網(wǎng)絡(luò)收斂到一個(gè)穩(wěn)定點(diǎn)或平衡點(diǎn)。在一個(gè)反饋網(wǎng)絡(luò)中，可能存在有多個(gè)穩(wěn)定點(diǎn)，根據(jù)不同的情況，這些穩(wěn)定點(diǎn)可分為：①漸近穩(wěn)定點(diǎn)Xe②不穩(wěn)定的平衡點(diǎn)Xf③網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)(2)軌跡為環(huán)狀，稱為極限環(huán)。(3)如果X
3、(t)的軌跡在某個(gè)確定的范圍內(nèi)變化，但既不重復(fù)又不能停下來，狀態(tài)變化為無窮多個(gè)，而軌跡也不發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象成為混沌（Chaos）.(4)如果X(t)的軌跡隨時(shí)間一直延伸到無窮遠(yuǎn)，此時(shí)狀態(tài)發(fā)散，而系統(tǒng)的輸出也發(fā)散。2.反饋型神經(jīng)網(wǎng)絡(luò)模型三、網(wǎng)絡(luò)的設(shè)計(jì)要求(1)網(wǎng)絡(luò)的穩(wěn)定性(2)網(wǎng)絡(luò)的穩(wěn)定點(diǎn)(3)穩(wěn)定點(diǎn)的吸引域霍普菲爾德（Hopfield）神經(jīng)網(wǎng)絡(luò)美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來人們將這種反饋網(wǎng)絡(luò)稱作Hopfield網(wǎng)。Hopfie
4、ld網(wǎng)絡(luò)是單層對稱全反饋網(wǎng)絡(luò)，根據(jù)激活函數(shù)選取的不同，可分為離散型（DHNN）和連續(xù)性（CHNN）兩種。DHNN：作用函數(shù)為hadlim，主要用于聯(lián)想記憶。CHNN：作用函數(shù)為S型函數(shù)，主要用于優(yōu)化計(jì)算。離散型的Hopfield神經(jīng)網(wǎng)絡(luò)1、網(wǎng)絡(luò)結(jié)構(gòu)2、網(wǎng)絡(luò)的工作方式3、網(wǎng)絡(luò)的穩(wěn)定性分析4、DHNN網(wǎng)絡(luò)設(shè)計(jì)離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型一、網(wǎng)絡(luò)結(jié)構(gòu)DHNN的結(jié)構(gòu)是一個(gè)單層結(jié)構(gòu)的全反饋網(wǎng)絡(luò)，有n個(gè)節(jié)點(diǎn)，W是一個(gè)n×n的對稱零對角權(quán)值矩陣，θ為n維閾值向量。DHNN網(wǎng)中的每個(gè)神經(jīng)元都有相同的功能，
5、其輸出稱為狀態(tài)，用xj表示。所有神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)：X=[x1,x2,…,xn]T反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為：X(0)=[x1(0),x2(0),…,xn(0)]T離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型j=1,2,…,nDHNN網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號函數(shù)式中凈輸入為j=1,2,…,n對于DHNN網(wǎng)，一般有wii=0，wij=wji。反饋網(wǎng)絡(luò)穩(wěn)定時(shí)每個(gè)神經(jīng)元的狀態(tài)都不再改變，此時(shí)的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出，表示為離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型二、網(wǎng)絡(luò)的工作方式(1)
6、串行（異步）工作方式任一時(shí)刻t，只有某一個(gè)節(jié)點(diǎn)i(隨機(jī)地或確定性地選擇)變化，而其余n-1個(gè)節(jié)點(diǎn)的狀態(tài)保持不變，即：(2)并行（同步）工作方式任一時(shí)刻t，所有的節(jié)點(diǎn)或部分節(jié)點(diǎn)改變狀態(tài)，即：離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型三、網(wǎng)絡(luò)的穩(wěn)定性分析（1）網(wǎng)絡(luò)的狀態(tài)穩(wěn)定：若網(wǎng)絡(luò)從一個(gè)初態(tài)X(t0)出發(fā)，經(jīng)過一個(gè)有限時(shí)刻t，網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即：則稱網(wǎng)絡(luò)是穩(wěn)定的，這時(shí)所有的節(jié)點(diǎn)輸出不再變化，網(wǎng)絡(luò)穩(wěn)定在某一狀態(tài)。如果網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個(gè)穩(wěn)態(tài)。離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型有限環(huán)
7、：若網(wǎng)絡(luò)是不穩(wěn)定的，由于DHNN網(wǎng)每個(gè)節(jié)點(diǎn)的狀態(tài)只有1和-1兩種情況，網(wǎng)絡(luò)不可能出現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡(luò)稱為有限環(huán)網(wǎng)絡(luò)。混沌：如果網(wǎng)絡(luò)狀態(tài)的軌跡在某個(gè)確定的范圍內(nèi)變遷，但既不重復(fù)也不停止，狀態(tài)變化為無窮多個(gè)，軌跡也不發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象稱為混沌。離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)達(dá)到穩(wěn)定時(shí)的狀態(tài)X，稱為網(wǎng)絡(luò)的吸引子。如果把問題的解編碼為網(wǎng)絡(luò)的吸引子，從初態(tài)向吸引子演變的過程便是求解計(jì)算的過程。若把需記憶的樣本信息存儲于網(wǎng)絡(luò)不同的吸引子，當(dāng)輸入含有部分記憶信息
8、的樣本時(shí)，網(wǎng)絡(luò)的演變過程便是從部分信息尋找全部信息，即聯(lián)想回憶的過程。定義：若網(wǎng)絡(luò)的狀態(tài)X滿足X=f(net)=f(WX-T)則稱X為網(wǎng)絡(luò)的吸引子。離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型（2）穩(wěn)定性定理定理1：當(dāng)網(wǎng)絡(luò)工作在異步方式下，滿足wij=wji，wii=0，i、j=1,2,…,n，則能量函數(shù)單調(diào)下降，且網(wǎng)絡(luò)必定穩(wěn)定。定理5.1證明：定義網(wǎng)絡(luò)的能量函數(shù)為：令網(wǎng)絡(luò)的能量改變量為ΔE，狀態(tài)改變量為ΔX，有離散型Hopfield神經(jīng)網(wǎng)絡(luò)模型將代入上式，并考慮到W為對稱矩陣，有離散型Hopfield神
