神經(jīng)網(wǎng)絡(luò)概述與BP神經(jīng)網(wǎng)絡(luò)(學(xué)生).pdf

《神經(jīng)網(wǎng)絡(luò)概述與BP神經(jīng)網(wǎng)絡(luò)(學(xué)生).pdf》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、制作人：中國民航飛行學(xué)院曾艷神經(jīng)網(wǎng)絡(luò)概述與BP神經(jīng)網(wǎng)絡(luò)一、神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡寫為ANN），簡稱神經(jīng)網(wǎng)絡(luò)（NeuralNetworks，簡寫為NN），是一個高度非線性動力學(xué)系統(tǒng)。它由若干神經(jīng)元連接成網(wǎng)絡(luò)，其中每個神經(jīng)元可以接受多個輸入信號，按照一定的規(guī)則轉(zhuǎn)換為輸出信號。由于神經(jīng)元間復(fù)雜的連接關(guān)系和各神經(jīng)元傳遞信號的非線性方式，輸入和輸出信號間可以構(gòu)建出各種各樣的關(guān)系，因此可以用來作為黑箱模型，表達(dá)那些用機(jī)理模型還無法精確描述、但輸入和輸出之間確實有客觀的、確定性的或模糊性的規(guī)律。雖然

2、每個神經(jīng)元的結(jié)構(gòu)和功能都不復(fù)雜，但是神經(jīng)網(wǎng)絡(luò)的動態(tài)行為則是十分復(fù)雜的。因此，用神經(jīng)網(wǎng)絡(luò)可以表達(dá)實際物理世界的各種現(xiàn)象。一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要由神經(jīng)元的特征、網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)、學(xué)習(xí)規(guī)則等決定。（一）人工神經(jīng)元（ArtificialNeuron）模型人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)操作的基本信息處理單位，是神經(jīng)網(wǎng)絡(luò)設(shè)計的基礎(chǔ)。神經(jīng)元是一個多輸入、單輸出的單元。若記輸入為(XX,,?,X)，輸出為Y?，則常用的人工神經(jīng)元12P模型可用圖1-1模擬。1?X1w1w2?f()?Y?X2w?PXP圖1-1人工神經(jīng)元示意圖圖1-1顯示，人工神經(jīng)元模型可以

3、看成是由三種基本元素組成：?一組連接權(quán)值(,ww,?,w)與閾值?權(quán)值與閾值可取正值也可取負(fù)值。12P?一個加法器?()?用于求神經(jīng)元輸入信號的加權(quán)之和。?一個激活函數(shù)f()?用于限制神經(jīng)元輸出振幅。1、激活函數(shù)的幾種主要形式：?1,x?0（1）階梯函數(shù)fx()???0,x?0?1,x?1?（2）分段線性函數(shù)fx()??x,1??x?1???1,x??1（3）線性函數(shù)（purelin函數(shù)）fx()?x（1-1）（4）非線性函數(shù)1制作人：中國民航飛行學(xué)院曾艷單極S型函數(shù)（logsig函數(shù)）1fx()?(0?fx()1)?（1-2）?x1?e雙

4、極S型函數(shù)（tansig函數(shù)）2fx()??1(1??fx()1)?（1-3）?2x1?e圖1-2S型函數(shù)圖2、神經(jīng)元輸入輸出的函數(shù)關(guān)系：當(dāng)?shù)趈個神經(jīng)元有多個輸入(XX,,?,X)和單個輸出Y?時，此時神經(jīng)元j的示意圖如圖1-3：12Pj1?jXw1j1w2j?f()?Y?Xj2w?PjjXP圖1-3人工神經(jīng)元j的示意圖輸入和輸出的關(guān)系可表示為:P??uj??wXiji??j?i?1?Y??fu()?jj（二）常見神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元互聯(lián)而構(gòu)成的網(wǎng)絡(luò)。根據(jù)網(wǎng)絡(luò)中神經(jīng)元的互聯(lián)方式，常見網(wǎng)絡(luò)結(jié)構(gòu)主要分為下面3類：1、前饋神經(jīng)網(wǎng)

5、絡(luò)（FeedforwardNeuralNetworks）前饋網(wǎng)絡(luò)也稱前向網(wǎng)絡(luò)。網(wǎng)絡(luò)中各個神經(jīng)元接受前一級的輸入，并輸出到下一級，網(wǎng)絡(luò)中沒有反饋。這種網(wǎng)絡(luò)實現(xiàn)信號從輸入空間到輸出空間的變換，它的信息處理能力來自于簡單非線性函數(shù)的多次復(fù)合。感知機(jī)（perceptron）與BP神經(jīng)網(wǎng)絡(luò)就屬于前饋網(wǎng)絡(luò)。圖1-4是一個3層的前饋神經(jīng)網(wǎng)絡(luò)，第一層是輸入層，第二層稱為隱含層，第三層稱為輸出層?！ぽ斎雽咏邮胀獠凯h(huán)境的輸入信號，并由它傳遞給相連隱含層上的各個神經(jīng)元。2制作人：中國民航飛行學(xué)院曾艷·隱含層是神經(jīng)網(wǎng)絡(luò)的內(nèi)部處理層，神經(jīng)網(wǎng)絡(luò)所具有的模式變換能力主要

6、體現(xiàn)在隱含層的神經(jīng)元上?！ぽ敵鰧佑糜诋a(chǎn)生神經(jīng)網(wǎng)絡(luò)的輸出模式。圖1-4前饋網(wǎng)絡(luò)結(jié)構(gòu)注意：輸入層中的單元不是神經(jīng)元，因此圖1-4中只有隱含層與輸出層共兩層神經(jīng)元。★對前饋神經(jīng)網(wǎng)絡(luò)，若網(wǎng)絡(luò)中每個神經(jīng)元的激活函數(shù)都選用線性函數(shù)，則神經(jīng)網(wǎng)絡(luò)的輸出將是輸入變量的線性函數(shù)。因此，若要做高次函數(shù)的逼近就應(yīng)該選用適當(dāng)?shù)姆蔷€性函數(shù)作為激活函數(shù)。2、反饋神經(jīng)網(wǎng)絡(luò)（FeedbackNeuralNetworks）反饋型神經(jīng)網(wǎng)絡(luò)是一種從輸出到輸入具有反饋連接的神經(jīng)網(wǎng)絡(luò)。典型的反饋型神經(jīng)網(wǎng)絡(luò)有：Elman網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、波耳茲曼機(jī)。圖1-5有反饋的前饋網(wǎng)絡(luò)結(jié)

7、構(gòu)3、自組織神經(jīng)網(wǎng)絡(luò)（SOM，Self-OrganizingNeuralNetworks）自組織神經(jīng)網(wǎng)絡(luò)是一種無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)。它通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。圖1-6自組織網(wǎng)絡(luò)（三）學(xué)習(xí)規(guī)則在神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)規(guī)則就是修正權(quán)值的一種算法，其目的是為了使得網(wǎng)絡(luò)輸出更符合實際。3制作人：中國民航飛行學(xué)院曾艷1、學(xué)習(xí)規(guī)則分為兩大類：（1）有導(dǎo)師學(xué)習(xí)（有監(jiān)督學(xué)習(xí)）在有導(dǎo)師學(xué)習(xí)中，需要為學(xué)習(xí)規(guī)則提供一系列正確的網(wǎng)絡(luò)輸入/期望輸出對（即訓(xùn)練樣本），將網(wǎng)絡(luò)輸出與相應(yīng)的期望輸出進(jìn)行比較，然后應(yīng)用學(xué)習(xí)規(guī)則調(diào)整權(quán)值和

8、閾值，使網(wǎng)絡(luò)輸出接近于期望輸出。注意：網(wǎng)絡(luò)輸出──輸入數(shù)據(jù)（樣本數(shù)據(jù)中自變量值）經(jīng)神經(jīng)網(wǎng)絡(luò)加工后，得到的輸出Y?；期望輸出──樣本數(shù)據(jù)中本身的因變量取值Y。BP算法就是一種出色的