自組織競爭神經(jīng)網(wǎng)絡(luò)SOM.ppt

《自組織競爭神經(jīng)網(wǎng)絡(luò)SOM.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、第四章自組織競爭型神經(jīng)網(wǎng)絡(luò)本章主要介紹自組織競爭型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、學(xué)習(xí)算法，及相關(guān)理論。1第四章自組織競爭型神經(jīng)網(wǎng)絡(luò)§4.1前言§4.2競爭學(xué)習(xí)的概念和原理§4.3自組織特征映射神經(jīng)網(wǎng)絡(luò)§4.4自組織特征映射神經(jīng)網(wǎng)絡(luò)的設(shè)計§4.5對偶傳播神經(jīng)網(wǎng)絡(luò)§4.6小結(jié)2§4.1前言在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)象，即一個神經(jīng)細胞興奮以后，會對周圍其他神經(jīng)細胞產(chǎn)生抑制作用。這種抑制作用會使神經(jīng)細胞之間出現(xiàn)競爭，其結(jié)果是某些獲勝，而另一些則失敗。表現(xiàn)形式是獲勝神經(jīng)細胞興奮，失敗神經(jīng)細胞抑制。自組織競爭型神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系統(tǒng)功能的人工神經(jīng)網(wǎng)絡(luò)。3自組織競爭型神經(jīng)網(wǎng)絡(luò)是

2、一種無教師監(jiān)督學(xué)習(xí)，具有自組織功能的神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)通過自身的訓(xùn)練，能自動對輸入模式進行分類。這一點與Hopfield網(wǎng)絡(luò)的模擬人類功能十分相似，自組織競爭型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其學(xué)習(xí)規(guī)則與其他神經(jīng)網(wǎng)絡(luò)相比有自己的特點。在網(wǎng)絡(luò)結(jié)構(gòu)上，它一般是由輸入層和競爭層構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實現(xiàn)雙向連接，而且網(wǎng)絡(luò)沒有隱含層。有時競爭層各神經(jīng)元之間還存在橫向連接。4在學(xué)習(xí)算法上，它模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競爭作用的信息處理的動力學(xué)原理來指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡(luò)那樣是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法的準則。競爭型神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本思想是網(wǎng)絡(luò)的競爭層各神經(jīng)

3、元競爭對輸入模式響應(yīng)的機會，最后僅有一個神經(jīng)元成為競爭的勝者。這一獲勝神經(jīng)元則表示對輸入模式的分類。5自組織競爭人工神經(jīng)網(wǎng)絡(luò)是基于上述生物結(jié)構(gòu)和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M行自組織訓(xùn)練和判斷，并將其最終分為不同的類型。與BP網(wǎng)絡(luò)相比，這種自組織自適應(yīng)的學(xué)習(xí)能力進一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識別、分類方面的應(yīng)用，另一方面，競爭學(xué)習(xí)網(wǎng)絡(luò)的核心——競爭層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型的重要組成部分。6常用的自組織網(wǎng)絡(luò)自組織特征映射(Self-OrganizingFeatureMap)網(wǎng)絡(luò)對偶傳播(Counterpropagation)網(wǎng)絡(luò)返回7自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)競爭層輸入

4、層§4.2競爭學(xué)習(xí)的概念與原理8分類——分類是在類別知識等導(dǎo)師信號的指導(dǎo)下，將待識別的輸入模式分配到各自的模式類中去。聚類——無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開?！?.2競爭學(xué)習(xí)的概念與原理競爭學(xué)習(xí)的概念9相似性測量＿歐式距離法兩個模式向量的歐式距離越小，兩個向量越接近，因此認為這兩個模式越相似，當兩個模式完全相同時其歐式距離為零。如果對同一類內(nèi)各個模式向量間的歐式距離作出規(guī)定，不允許超過某一最大值T，則最大歐式距離T就成為一種聚類判據(jù)，同類模式向量的距離小于T，兩類模式向量的距離大于T。10相似性測量＿余弦法兩個模式向量越

5、接近，其夾角越小，余弦越大。當兩個模式向量完全相同時，其余弦夾角為1。如果對同一類內(nèi)各個模式向量間的夾角作出規(guī)定，不允許超過某一最大夾角a，則最大夾角就成為一種聚類判據(jù)。同類模式向量的夾角小于a，兩類模式向量的夾角大于a。余弦法適合模式向量長度相同和模式特征只與向量方向相關(guān)的相似性測量。11競爭學(xué)習(xí)原理競爭學(xué)習(xí)規(guī)則——Winner-Take-All網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活，結(jié)果在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為WinnerTakeAll?！?.2競爭學(xué)習(xí)的概念與原理121.向量歸一化首先

6、將當前輸入模式向量X和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星向量Wj全部進行歸一化處理；(j=1,2,…,m)13向量歸一化之前14向量歸一化之后15競爭學(xué)習(xí)原理競爭學(xué)習(xí)規(guī)則——Winner-Take-All2.尋找獲勝神經(jīng)元當網(wǎng)絡(luò)得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量均與其進行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競爭獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點積最大。即：16從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點積最大。即：競爭學(xué)習(xí)規(guī)則——Winner-Take-All173.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整j?j*步驟3完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)

7、習(xí)率衰減到0。競爭學(xué)習(xí)規(guī)則——Winner-Take-All18競爭學(xué)習(xí)的幾何意義?19*1W?*?jW*)](?)(?)[()(*ttttjpWXW-=hD*┆)(?*1tj+W)(?tpXjW?mW?*…***競爭學(xué)習(xí)的幾何意義20例4.1用競爭學(xué)習(xí)算法將下列各模式分為2類：解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標形式：競爭層設(shè)兩個權(quán)向量，隨機初始化為單位向量：2122232425262728293031321981年芬蘭Helsink大學(xué)的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱Kohonen網(wǎng)。