資源描述:
《徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的全監(jiān)督算法》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、第25卷第4期增刊儀器儀表學(xué)報2004年8月徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的全監(jiān)督算法‘韓敏郭偉王金城(遼寧省大連理工大學(xué)電子與信息工程學(xué)院大連116023)摘要徑向基函數(shù)神絡(luò)的學(xué)習(xí)過程一般分為兩個階段:非監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)階段,分別調(diào)整網(wǎng)絡(luò)的中心和權(quán)值。這里將網(wǎng)絡(luò)的總體誤差作為目標(biāo)函數(shù),以待求的所有參數(shù)作為變量,同時調(diào)整,構(gòu)成全監(jiān)督算法。為了提高收斂速度,采用共Of梯度法作為參數(shù)優(yōu)化方法。通過混沌時間序列預(yù)測仿真證明,該算法具有良好的性能。關(guān)鍵詞徑向基函數(shù)網(wǎng)絡(luò)、共扼梯度、、/夕、/少AnEntire一supe
2、rvisedAlogrithmofRBFNetworkHanMinGuoWeiWangJincheng(SchoolofElectronicandInformationEngineering,DalianUniversityofTechnology,Dalian116023,China)E-mail:minhan(aidlut.edu.cnAbstractThetraditionallearningalgorithmofaradialbasisfunctionnetworkisseparatedtw
3、ophases:unsuper-visedandsupervisedprocesses,calculatingRBFcentersandweightsrespectively.Definingnetworkerrorasopti-mumobjectivefunction,allparametersarelookedasfunctionvariables,andanentire-supervisedalgorithmisstudied.Tospeeduptheparametersadjustingpr
4、ocess,conjugate-gradientdecentalgorithmisemployed.Itisusedtochaotictimeseriespredictionandtheresultissatisfying.KeywordsRBFConjugate-gradientSupervised學(xué)習(xí)和監(jiān)督學(xué)習(xí)兩個過程,分別調(diào)整中心和權(quán)值。由于1引言調(diào)節(jié)中心時采用的是非監(jiān)督算法,因此網(wǎng)絡(luò)性能對初始值非常敏感,同時存在死節(jié)點(diǎn)問題「2〕。徑向基函數(shù)(Radial-Basis-Function,RBF
5、)神經(jīng)網(wǎng)考慮到網(wǎng)絡(luò)最終的目標(biāo)是使性能指標(biāo)最小,這里絡(luò)是一種性能良好的前向神經(jīng)網(wǎng)絡(luò),相對于BP網(wǎng)絡(luò),提出一種全監(jiān)督算法,即將學(xué)習(xí)過程合二為一,以網(wǎng)絡(luò)它具有較快的學(xué)習(xí)速率,且不存在局部極小值的問題,的總誤差作為目標(biāo)函數(shù),以待求的所有參數(shù):網(wǎng)絡(luò)中只要樣本充足,無論系統(tǒng)是否為非線性都可以找到恰IL、寬度和權(quán)值作為被調(diào)變量,采用優(yōu)化算法同時加以當(dāng)?shù)挠成洹R虼?,在許多領(lǐng)域,如函數(shù)逼近、數(shù)據(jù)挖掘、調(diào)整。一方面避免了網(wǎng)絡(luò)中心對初始值敏感的問題,另系統(tǒng)預(yù)報等方面得到廣泛的應(yīng)用。一方面,相對于常規(guī)的兩階段算法具有更高的
6、分類精RBF網(wǎng)絡(luò)的非線性映射能力體現(xiàn)在隱含層的基度[3]。函數(shù)上,而基函數(shù)的特性主要由函數(shù)的中心值確定,針為了避免同時調(diào)整所有的參數(shù),當(dāng)網(wǎng)絡(luò)的規(guī)模增對學(xué)習(xí)數(shù)據(jù)恰當(dāng)確定出網(wǎng)絡(luò)的基函數(shù)中心,就可以提大時,耗用機(jī)時較多的問題「‘〕,這里采用共扼梯度法作高網(wǎng)絡(luò)的非線性逼近能力「,〕。因此,圍繞中心值的確為參數(shù)的優(yōu)化方法,比梯度下降法下降速度明顯加快,定,不少人提出了網(wǎng)絡(luò)的參數(shù)的學(xué)習(xí)方法,其中最常見而且在逼近極小點(diǎn)時效果也更好,-fi]的是C一均值算法。該算法將網(wǎng)絡(luò)的學(xué)習(xí)過程分非監(jiān)督本文系國家自然科學(xué)基金資助
7、項(xiàng)目(60374064),第4期增刊徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的全監(jiān)督算法2RBF神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)3全監(jiān)督算法RBF神經(jīng)網(wǎng)絡(luò)的產(chǎn)生具有很強(qiáng)的生物學(xué)背景。在筆者基于Mooky與Darken算法的基本思想提出人的大腦皮層區(qū)域中,局部調(diào)節(jié)及交疊的感受野是人了全監(jiān)督算法。該算法的基本思路是將網(wǎng)絡(luò)的所有參腦反應(yīng)的特點(diǎn)?;诟惺芤斑@一特性,Moody和Dark-數(shù)調(diào)整過程作為一個監(jiān)督學(xué)習(xí)的過程,同時加以調(diào)整,en提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),即RBF網(wǎng)絡(luò)[;。其結(jié)構(gòu)以達(dá)到性能指標(biāo)最小。如圖1所示。網(wǎng)絡(luò)輸人層的節(jié)點(diǎn)將輸人樣本
8、直接送到為簡化表達(dá)式,這里只討論單輸出即m=1時的隱含層,隱含層選取徑向?qū)ΨQ的非線性函數(shù)作為節(jié)點(diǎn)J清形。RBF網(wǎng)絡(luò)的性能指標(biāo)為:的激發(fā)函數(shù),網(wǎng)絡(luò)的輸出通常是隱含層節(jié)點(diǎn)輸出的線E;一粵(。;一YI)zi一1,2,n,p(4)性組合。文中假定網(wǎng)絡(luò)三層的節(jié)點(diǎn)數(shù)分別為n,h和mo乙式中:0為第i個樣本的期望值,Y、為第i個輸人向量隱含層神經(jīng)元的激發(fā)函數(shù)為:的實(shí)際輸出值,P為樣本數(shù)量。若將所有的待求參數(shù),g;(x)=T}}x一c川/ai)i=1,2,n,h(1)式中:g;()是