徑向基函數(shù)網(wǎng)絡(luò).ppt

《徑向基函數(shù)網(wǎng)絡(luò).ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在PPT專區(qū)-天天文庫(kù)。

1、徑向基函數(shù)網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)定義RBF神經(jīng)網(wǎng)絡(luò)工作原理RBF神經(jīng)網(wǎng)絡(luò)模型RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法實(shí)例徑向基函數(shù)網(wǎng)絡(luò)（RBF網(wǎng)絡(luò)）徑向基函數(shù)是多維空間插值的傳統(tǒng)技術(shù)，根據(jù)生物神經(jīng)元具有局部響應(yīng)這一特點(diǎn)，將RBF引入到神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中，產(chǎn)生了RBF神經(jīng)網(wǎng)絡(luò)。RBF網(wǎng)絡(luò)能夠逼近任意的非線性函數(shù)，可以處理系統(tǒng)內(nèi)的難以解析的規(guī)律性，具有良好的泛化能力，并有很快的學(xué)習(xí)收斂速度，已成功應(yīng)用于非線性函數(shù)逼近、時(shí)間序列分析、數(shù)據(jù)分類、模式識(shí)別、信息處理、圖像處理、系統(tǒng)建模、控制和故障診斷等。RBF網(wǎng)絡(luò)是一種單隱層的三層前向網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)有兩種模型：正規(guī)化網(wǎng)絡(luò)和廣義網(wǎng)絡(luò)RBF網(wǎng)絡(luò)的基本思想

2、用RBF作為隱單元的“基”構(gòu)成隱函數(shù)空間，將輸入矢量直接映射到隱空間（不需要通過(guò)權(quán)連接）當(dāng)RBF的中心確定后，映射關(guān)系也就確定隱含層空間到輸出空間的映射是線性的RBF網(wǎng)絡(luò)的工作原理函數(shù)逼近：以任意精度逼近任一連續(xù)函數(shù)。一般函數(shù)都可表示成一組基函數(shù)的線性組合，RBF網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù)，然后用輸出層來(lái)進(jìn)行線性組合，以完成逼近功能。分類：解決非線性可分問題。RBF網(wǎng)絡(luò)用隱層單元先將非線性可分的輸入空間設(shè)法變換到線性可分的特征空間（通常是高維空間），然后用輸出層來(lái)進(jìn)行線性劃分，完成分類功能。正規(guī)化網(wǎng)絡(luò)其中基函數(shù)一般選用高斯函數(shù)：那么：正規(guī)化網(wǎng)絡(luò)是一個(gè)通用逼

3、近器，只要隱單元足夠多，它就可以逼近任意M元連續(xù)函數(shù)。且對(duì)任一未知的非線性函數(shù)，總存在一組權(quán)值使網(wǎng)絡(luò)對(duì)該函數(shù)的逼近效果最好。廣義網(wǎng)絡(luò)當(dāng)基函數(shù)為高斯函數(shù)時(shí)：RBF神經(jīng)網(wǎng)絡(luò)兩種模型正規(guī)化網(wǎng)絡(luò)RN：通用逼近器基本思想：通過(guò)加入一個(gè)含有解的先驗(yàn)知識(shí)的約束來(lái)控制映射函數(shù)的光滑性，若輸入一輸出映射函數(shù)是光滑的，則重建問題的解是連續(xù)的，意味著相似的輸入對(duì)應(yīng)著相似的輸出。廣義網(wǎng)絡(luò)GN：模式分類基本思想：用徑向基函數(shù)作為隱單元的“基”，構(gòu)成隱含層空間。隱含層對(duì)輸入向量進(jìn)行變換，將低維空間的模式變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問題在高維空間內(nèi)線性可分。兩種模型的比較隱節(jié)點(diǎn)=輸

4、入樣本數(shù)隱節(jié)點(diǎn)＜輸入樣本數(shù)所有輸入樣本設(shè)為徑向基函數(shù)的中心徑向基函數(shù)的中心由訓(xùn)練算法確定徑向基函數(shù)取統(tǒng)一的擴(kuò)展常數(shù)徑向基函數(shù)的擴(kuò)展常數(shù)不再統(tǒng)一由訓(xùn)練算法確定沒有設(shè)置閾值輸出函數(shù)的線性中包含閾值參數(shù)，用于補(bǔ)償基函數(shù)在樣本集上的平均值與目標(biāo)值之平均值之間的差別。RNGNRBF網(wǎng)絡(luò)的學(xué)習(xí)算法學(xué)習(xí)算法需要求解的參數(shù)：徑向基函數(shù)的中心方差隱含層到輸出層的權(quán)值當(dāng)采用正歸化RBF網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，隱節(jié)點(diǎn)數(shù)即樣本數(shù)，基函數(shù)的數(shù)據(jù)中心即為樣本本身，參數(shù)設(shè)計(jì)只需考慮擴(kuò)展常數(shù)和輸出節(jié)點(diǎn)的權(quán)值。當(dāng)采用廣義RBF網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，RBF網(wǎng)絡(luò)的學(xué)習(xí)算法應(yīng)該解決的問題包括：如何確定網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)，如何確定各徑向基

5、函數(shù)的數(shù)據(jù)中心及擴(kuò)展常數(shù)，以及如何修正輸出權(quán)值。學(xué)習(xí)方法分類（根據(jù)RBF中心選取方法的不同分）：隨機(jī)選取中心法自組織選取中心法有監(jiān)督選取中心法正交最小二乘法等自組織選取中心法中心和權(quán)值的選取可以分為兩個(gè)相互獨(dú)立的步驟進(jìn)行：一是無(wú)監(jiān)督的自組織學(xué)習(xí)階段，即學(xué)習(xí)隱含層基函數(shù)的中心與方差的階段；其任務(wù)是用自組織聚類方法為隱層節(jié)點(diǎn)的徑向基函數(shù)確定合適的數(shù)據(jù)中心，并根據(jù)各中心之間的距離確定隱節(jié)點(diǎn)的擴(kuò)展常數(shù)。一般采用Duda和Hart1973年提出的k-means聚類算法。二是有監(jiān)督學(xué)習(xí)階段，其任務(wù)是用有監(jiān)督學(xué)習(xí)算法訓(xùn)練輸出層權(quán)值，一般采用梯度法進(jìn)行訓(xùn)練。自組織選取中心算法步驟1.基

6、于K-均值聚類方法求取基函數(shù)中心2.求解方差3.計(jì)算隱含層和輸出層之間的權(quán)值實(shí)例根據(jù)RBF神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和工作原理，可確定以下編程步驟及相關(guān)語(yǔ)言：初始化，確定RBF網(wǎng)絡(luò)模型的輸入，輸出向量。用newrb()函數(shù)設(shè)計(jì)一個(gè)滿足一定精度的RBF網(wǎng)絡(luò)。格式：net=newrb(P,T,g,s)Newrb()可自動(dòng)增加RBF網(wǎng)絡(luò)的隱層神經(jīng)19元，直到均方差滿足為止。其中P,T,g,s分別是輸入向量，輸出向量（目標(biāo)值）均方差精度和徑向基層的散布常數(shù)。g和s的取值直接影響到網(wǎng)絡(luò)的擬合和泛化能力。用sim函數(shù)進(jìn)行仿真。格式：y=sim(net,P)20下面看一個(gè)例子：用RBF網(wǎng)絡(luò)逼

7、近Hermit多項(xiàng)式訓(xùn)練輸入樣本集x=-4﹕0.08﹕4,有噪聲，樣本長(zhǎng)度L=101；測(cè)試輸入集x2=4﹕0.08﹕4.32,長(zhǎng)度L1=5；學(xué)習(xí)訓(xùn)練中，將帶有噪聲的y(x)作為目標(biāo)函數(shù)，均方誤差為0.8，徑向基函數(shù)的擴(kuò)展速度為0.7，隱層的神經(jīng)元最大數(shù)目為100。繪制函數(shù)逼近曲線和函數(shù)逼近外推誤差曲線。21按照RBF神經(jīng)網(wǎng)絡(luò)的編程步驟可得到：x=-4:0.08:4;t=1.1*(1-x+2*x.^2).*exp(-x.^2/2)+0.1*rand(1,101);p_test1=4:0.08:4.32;net=newrb(x,t,0.8,0