徑向基函數(shù)神經網(wǎng)絡ppt課件.ppt

《徑向基函數(shù)神經網(wǎng)絡ppt課件.ppt》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、3.5徑向基函數(shù)神經網(wǎng)絡模型概述1985年，Powell提出了多變量插值的徑向基函數(shù)(RadicalBasisFunction，RBF)方法1988年，Moody和Darken提出了一種神經網(wǎng)絡結構，即RBF神經網(wǎng)絡RBF網(wǎng)絡是一種三層前向網(wǎng)絡RBF網(wǎng)絡的基本思想用RBF作為隱單元的“基”構成隱含層空間，將輸入矢量直接(即不需要通過權連接)映射到隱空間當RBF的中心點確定后，映射關系也就確定隱含層空間到輸出空間的映射是線性的RBF網(wǎng)絡特點只有一個隱層，且隱層神經元與輸出層神經元的模型不同。隱層節(jié)點激活函數(shù)為徑向基函數(shù)，輸出層節(jié)點激活函

2、數(shù)為線性函數(shù)。隱層節(jié)點激活函數(shù)的凈輸入是輸入向量與節(jié)點中心的距離（范數(shù)）而非向量內積，且節(jié)點中心不可調。隱層節(jié)點參數(shù)確定后，輸出權值可通過解線性方程組得到。隱層節(jié)點的非線性變換把線性不可分問題轉化為線性可分問題。局部逼近網(wǎng)絡（MLP是全局逼近網(wǎng)絡)，這意味著逼近一個輸入輸出映射時，在相同逼近精度要求下，RBF所需的時間要比MLP少。具有唯一最佳逼近的特性，無局部極小。合適的隱層節(jié)點數(shù)、節(jié)點中心和寬度不易確定。1.Gauss（高斯）函數(shù)：2.反演S型函數(shù)：3.擬多二次函數(shù)：σ稱為基函數(shù)的擴展常數(shù)或寬度，σ越小，徑向基函數(shù)的寬度越小，基函

3、數(shù)就越有選擇性。徑向基函數(shù)（RBF）全局逼近和局部逼近全局逼近網(wǎng)絡局部逼近網(wǎng)絡當神經網(wǎng)絡的一個或多個可調參數(shù)(權值和閾值)對任何一個輸出都有影響，則稱該神經網(wǎng)絡為全局逼近網(wǎng)絡。對網(wǎng)絡輸入空間的某個局部區(qū)域只有少數(shù)幾個連接權影響網(wǎng)絡的輸出，則稱該網(wǎng)絡為局部逼近網(wǎng)絡學習速度很慢，無法滿足實時性要求的應用學習速度快，有可能滿足有實時性要求的應用RBF網(wǎng)絡的工作原理函數(shù)逼近：以任意精度逼近任一連續(xù)函數(shù)。一般函數(shù)都可表示成一組基函數(shù)的線性組合，RBF網(wǎng)絡相當于用隱層單元的輸出構成一組基函數(shù)，然后用輸出層來進行線性組合，以完成逼近功能。分類：解決

4、非線性可分問題。RBF網(wǎng)絡用隱層單元先將非線性可分的輸入空間設法變換到線性可分的特征空間（通常是高維空間），然后用輸出層來進行線性劃分，完成分類功能。RBF神經網(wǎng)絡兩種模型正規(guī)化網(wǎng)絡RN廣義網(wǎng)絡GN通用逼近器模式分類基本思想：通過加入一個含有解的先驗知識的約束來控制映射函數(shù)的光滑性，若輸入一輸出映射函數(shù)是光滑的，則重建問題的解是連續(xù)的，意味著相似的輸入對應著相似的輸出?；舅枷耄河脧较蚧瘮?shù)作為隱單元的“基”，構成隱含層空間。隱含層對輸入向量進行變換，將低維空間的模式變換到高維空間內，使得在低維空間內的線性不可分問題在高維空間內線性可

5、分。兩種模型的比較隱節(jié)點=輸入樣本數(shù)隱節(jié)點＜輸入樣本數(shù)所有輸入樣本設為徑向基函數(shù)的中心徑向基函數(shù)的中心由訓練算法確定徑向基函數(shù)取統(tǒng)一的擴展常數(shù)徑向基函數(shù)的擴展常數(shù)不再統(tǒng)一由訓練算法確定沒有設置閾值輸出函數(shù)的線性中包含閾值參數(shù)，用于補償基函數(shù)在樣本集上的平均值與目標值之平均值之間的差別。RNGN3.5.1RBF神經網(wǎng)絡模型徑向基神經網(wǎng)絡的神經元結構激活函數(shù)采用徑向基函數(shù)以輸入和權值向量之間的距離作為自變量徑向基神經網(wǎng)絡結構RBF網(wǎng)絡與BP網(wǎng)絡比較：RBF網(wǎng)絡的輸出是隱單元輸出的線性加權和，學習速度加快BP網(wǎng)絡使用sigmoid()函數(shù)作

6、為激活函數(shù)，這樣使得神經元有很大的輸入可見區(qū)域徑向基神經網(wǎng)絡使用徑向基函數(shù)（一般使用高斯函數(shù)）作為激活函數(shù)，神經元輸入空間區(qū)域很小，因此需要更多的徑向基神經元RBF學習算法RBF學習的三個參數(shù)：①基函數(shù)的中心②方差（擴展常數(shù)）③隱含層與輸出層間的權值當采用正歸化RBF網(wǎng)絡結構時，隱節(jié)點數(shù)即樣本數(shù)，基函數(shù)的數(shù)據(jù)中心即為樣本本身，參數(shù)設計只需考慮擴展常數(shù)和輸出節(jié)點的權值。當采用廣義RBF網(wǎng)絡結構時，RBF網(wǎng)絡的學習算法應該解決的問題包括：如何確定網(wǎng)絡隱節(jié)點數(shù)，如何確定各徑向基函數(shù)的數(shù)據(jù)中心及擴展常數(shù)，以及如何修正輸出權值。學習方法分類（按

7、RBF中心選取方法的不同分）隨機選取中心法自組織選取中心法有監(jiān)督選取中心法正交最小二乘法等3.5.2RBF網(wǎng)絡的學習算法自組織選取中心學習方法第一步，自組織學習階段無導師學習過程，求解隱含層基函數(shù)的中心與方差；第二步，有導師學習階段求解隱含層到輸出層之間的權值。高斯函數(shù)作為徑向基函數(shù)網(wǎng)絡的輸出(網(wǎng)絡結構如圖2-21所示)設d是樣本的期望輸出值，那么基函數(shù)的方差可表示為:自組織選取中心算法步驟1.基于K-均值聚類方法求取基函數(shù)中心（1）網(wǎng)絡初始化。隨機選取個訓練樣本作為聚類中心。（2）將輸入的訓練樣本集合按最近鄰規(guī)則分組。按照與中心為之

8、間的歐氏距離將分配到輸入樣本的各個聚類集合中。（3）重新調整聚類中心。計算各個聚類集合中訓練樣本的平均值，即新的聚類中心，如果新的聚類中心不再發(fā)生變化，則所得到的即為RBF神經網(wǎng)絡最終的基函數(shù)中心，否則返回（2），進入下