神經網絡與神經網絡集成

《神經網絡與神經網絡集成》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、神經網絡與神經網絡集成與神經網絡相關的研究可以追溯到上世紀中期，然而對神經網絡的深入研究和廣泛應用是在上世紀八十年代末到九十年代初，標志是Hopfield網絡結構和BP學習算法的相繼提出。20世紀50年代，F(xiàn).Rosenblatt提出了感知器模型，這是神經網絡最初的雛形，由于它只有一層的權值可調，因此解決不了非線性可分問題。針對感知器在處理非線性問題中存在的不足，Minsky于1969年出版的專著《Perceptrons》一度使神經網絡的研究沉寂近20年，同時該書也指出通過加入隱層神經元有可能解決非線性可分問題，但他對加入隱層神經元后能否給出一個有效算法持悲觀態(tài)度。這一時期，相

2、當一部分人工智能研究者的研究興趣轉向了專家系統(tǒng)這一領域。Hopfield網絡的提出，使神經網絡相關研究在70年代末期得到了復蘇。但真正掀起神經網絡研究高潮的是在80年代初期，D.Werbos，D.Rumelhart和D.Parker三人各自獨立發(fā)明的誤差反向傳播算法（ErrorBack-Propagation,EBP），使多層前饋神經網絡的實現(xiàn)成為可能，并使神經網絡的研究前進了一大步。BP網絡的提出，極大地激發(fā)了人工智能研究者的熱情，此后，各種神經網絡模型與相應算法紛紛提出，典型如BAM、徑向基函數(shù)、自組織映射等。神經網絡集成的提出主要是針對單個神經網絡的不確定性而提出的?！?

3、.1神經網絡理論一、神經網絡基本理論神經網絡是對人腦神經系統(tǒng)的數(shù)學模擬，其目的是學習和模仿人腦的信息處理能力。撇開神經網絡的具體結構形式和學習算法，一般地認為神經網絡的信息處理過程包括學習和工作兩個相互獨立的階段。在學習階段，由學習樣本集獲得權值向量，權值向量中蘊涵學習樣本所包含的知識。設為輸入向量，W為權值向量，B為輸出向量，則對于監(jiān)督學習，其過程可表為：(8.1.1)其中是教師信號，如BP網絡等。對于非監(jiān)督學習，其過程可表為：(8.1.2)如用于主成分分析的PCA網絡等。在工作階段，由輸入和權值獲得輸出圖8.1神經元結構圖(8.1.3)二、人工神經元模型人們對神經系統(tǒng)的研究

4、已經有了很長一段歷史，早在19世紀末，人們就開始認識到，人腦包含著數(shù)量大約在1010～1012之間的神經元，這些神經元存在著復雜的聯(lián)接，并形成一個整體，使得人腦具有各種智能行為。191盡管在外觀形狀上，這些神經元各不相同，然而這些形形色色的神經元都由三個區(qū)組成：細胞體、樹突、軸突。如圖8.1所示。從圖中我們可以看出：一般的神經元有多個樹突，它們起感受作用即接受外部（包括其它神經元）傳遞過來的信息。軸突只有一條，與樹突相比它顯得長而細，用于傳遞和輸出信息。神經元之間通過突觸聯(lián)結，突觸是一個神經元軸突的末梢與另一個神經元的細胞體或樹突相接觸的地方，每個神經元大約有103～104個突

5、觸，換句話說，每個神經元大約與103～104個其它神經元有連接，正是因為這些突觸才使得全部大腦神經元形成一個復雜的網絡結構。依據上述理論，可以畫出神經元的等效模型圖8.2。圖8.2神經元等效模型從圖8.2可以看出人腦神經系統(tǒng)的工作原理：外部刺激信號或上級神經元信號經合成后由樹突傳給神經元細胞體處理，最后由突觸輸出給下級神經元或作出響應。基于神經細胞的這種理論知識，自1943年McCulloch和Pitts提出的第一個人工神經元模型以來，人們相繼提出了多種人工神經元模型，其中被人們廣泛接受并普遍應用的是圖8.3所示的模型。圖8.3人工神經元模型圖中的為實連續(xù)變量，是神經元的輸入，

6、稱為閾值（也稱為門限），是本神經元與上級神經元的連接權值。神經元對輸入信號的處理包括兩個過程：第一個過程是對輸入信號求加權和，然后減去閾值變量，得到神經元的凈輸入，即(8.1.4)上式表明，連接權大于0的輸入對求和起著增強的作用，因而這種連接又稱為興奮連接，相反連接權小于0的連接稱為抑制連接。第二個過程是對凈輸入進行函數(shù)運算，得出神經元的輸出，即(8.1.5)通常被稱為變換函數(shù)（或特征函數(shù)），簡單的變換函數(shù)有圖8.4所示的幾種。這幾種變換函數(shù)分別滿足如下關系：1)線性函數(shù)2)階躍函數(shù)3)Sigmoid函數(shù)(S函數(shù))4)雙曲正切函數(shù)從生理學角度191看，階躍函數(shù)最符合人腦神經元的

7、特點，事實上，人腦神經元正是通過電位的高低兩種狀態(tài)來反映該神經元的興奮與抑止。然而，由于階躍函數(shù)不可微，因此，實際上更多使用的是與之相仿的Sigmoid函數(shù)。有些情況下，也可以結合使用，如在后面介紹的前向多層神經網絡中，可能采用的是：隱含層使用Sigmoid函數(shù)，輸出層使用線性函數(shù)。圖8.4神經元的幾種常用變換函數(shù)§8.2前向多層神經網絡、BP算法一、前向多層神經網絡基于上面介紹的神經元結構，人們又提出了很多種神經網絡結構模型，如Hopfield網絡、Boltzmann機、ART網絡和BAM