徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的全監(jiān)督算法

《徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的全監(jiān)督算法》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、第25卷第4期增刊儀器儀表學(xué)報2004年8月徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的全監(jiān)督算法‘韓敏郭偉王金城(遼寧省大連理工大學(xué)電子與信息工程學(xué)院大連116023)摘要徑向基函數(shù)神絡(luò)的學(xué)習(xí)過程一般分為兩個階段:非監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)階段，分別調(diào)整網(wǎng)絡(luò)的中心和權(quán)值。這里將網(wǎng)絡(luò)的總體誤差作為目標(biāo)函數(shù)，以待求的所有參數(shù)作為變量，同時調(diào)整，構(gòu)成全監(jiān)督算法。為了提高收斂速度，采用共Of梯度法作為參數(shù)優(yōu)化方法。通過混沌時間序列預(yù)測仿真證明，該算法具有良好的性能。關(guān)鍵詞徑向基函數(shù)網(wǎng)絡(luò)、共扼梯度、、/夕、/少AnEntire一supe

2、rvisedAlogrithmofRBFNetworkHanMinGuoWeiWangJincheng(SchoolofElectronicandInformationEngineering,DalianUniversityofTechnology,Dalian116023,China)E-mail:minhan(aidlut.edu.cnAbstractThetraditionallearningalgorithmofaradialbasisfunctionnetworkisseparatedtw

3、ophases:unsuper-visedandsupervisedprocesses,calculatingRBFcentersandweightsrespectively.Definingnetworkerrorasopti-mumobjectivefunction，allparametersarelookedasfunctionvariables，andanentire-supervisedalgorithmisstudied.Tospeeduptheparametersadjustingpr

4、ocess,conjugate-gradientdecentalgorithmisemployed.Itisusedtochaotictimeseriespredictionandtheresultissatisfying.KeywordsRBFConjugate-gradientSupervised學(xué)習(xí)和監(jiān)督學(xué)習(xí)兩個過程，分別調(diào)整中心和權(quán)值。由于1引言調(diào)節(jié)中心時采用的是非監(jiān)督算法，因此網(wǎng)絡(luò)性能對初始值非常敏感，同時存在死節(jié)點(diǎn)問題「2〕。徑向基函數(shù)(Radial-Basis-Function,RBF

5、)神經(jīng)網(wǎng)考慮到網(wǎng)絡(luò)最終的目標(biāo)是使性能指標(biāo)最小，這里絡(luò)是一種性能良好的前向神經(jīng)網(wǎng)絡(luò)，相對于BP網(wǎng)絡(luò)，提出一種全監(jiān)督算法，即將學(xué)習(xí)過程合二為一，以網(wǎng)絡(luò)它具有較快的學(xué)習(xí)速率，且不存在局部極小值的問題，的總誤差作為目標(biāo)函數(shù)，以待求的所有參數(shù):網(wǎng)絡(luò)中只要樣本充足，無論系統(tǒng)是否為非線性都可以找到恰IL、寬度和權(quán)值作為被調(diào)變量，采用優(yōu)化算法同時加以當(dāng)?shù)挠成洹Ｒ虼?，在許多領(lǐng)域，如函數(shù)逼近、數(shù)據(jù)挖掘、調(diào)整。一方面避免了網(wǎng)絡(luò)中心對初始值敏感的問題，另系統(tǒng)預(yù)報等方面得到廣泛的應(yīng)用。一方面，相對于常規(guī)的兩階段算法具有更高的

6、分類精RBF網(wǎng)絡(luò)的非線性映射能力體現(xiàn)在隱含層的基度[3]。函數(shù)上，而基函數(shù)的特性主要由函數(shù)的中心值確定，針為了避免同時調(diào)整所有的參數(shù)，當(dāng)網(wǎng)絡(luò)的規(guī)模增對學(xué)習(xí)數(shù)據(jù)恰當(dāng)確定出網(wǎng)絡(luò)的基函數(shù)中心，就可以提大時，耗用機(jī)時較多的問題「‘〕，這里采用共扼梯度法作高網(wǎng)絡(luò)的非線性逼近能力「，〕。因此，圍繞中心值的確為參數(shù)的優(yōu)化方法，比梯度下降法下降速度明顯加快，定，不少人提出了網(wǎng)絡(luò)的參數(shù)的學(xué)習(xí)方法，其中最常見而且在逼近極小點(diǎn)時效果也更好，-fi]的是C一均值算法。該算法將網(wǎng)絡(luò)的學(xué)習(xí)過程分非監(jiān)督本文系國家自然科學(xué)基金資助

7、項(xiàng)目(60374064),第4期增刊徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的全監(jiān)督算法2RBF神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)3全監(jiān)督算法RBF神經(jīng)網(wǎng)絡(luò)的產(chǎn)生具有很強(qiáng)的生物學(xué)背景。在筆者基于Mooky與Darken算法的基本思想提出人的大腦皮層區(qū)域中，局部調(diào)節(jié)及交疊的感受野是人了全監(jiān)督算法。該算法的基本思路是將網(wǎng)絡(luò)的所有參腦反應(yīng)的特點(diǎn)?；诟惺芤斑@一特性，Moody和Dark-數(shù)調(diào)整過程作為一個監(jiān)督學(xué)習(xí)的過程，同時加以調(diào)整，en提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即RBF網(wǎng)絡(luò)[;。其結(jié)構(gòu)以達(dá)到性能指標(biāo)最小。如圖1所示。網(wǎng)絡(luò)輸人層的節(jié)點(diǎn)將輸人樣本

8、直接送到為簡化表達(dá)式，這里只討論單輸出即m=1時的隱含層，隱含層選取徑向?qū)ΨQ的非線性函數(shù)作為節(jié)點(diǎn)J清形。RBF網(wǎng)絡(luò)的性能指標(biāo)為:的激發(fā)函數(shù)，網(wǎng)絡(luò)的輸出通常是隱含層節(jié)點(diǎn)輸出的線E;一粵(。;一YI)zi一1，2,n,p(4)性組合。文中假定網(wǎng)絡(luò)三層的節(jié)點(diǎn)數(shù)分別為n,h和mo乙式中:0為第i個樣本的期望值，Y、為第i個輸人向量隱含層神經(jīng)元的激發(fā)函數(shù)為:的實(shí)際輸出值，P為樣本數(shù)量。若將所有的待求參數(shù)，g;(x)=T}}x一c川/ai)i=1，2,n,h(1)式中:g;()是