流域年均含沙量BP模型問(wèn)題分析.doc

《流域年均含沙量BP模型問(wèn)題分析.doc》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、流域年均含沙量BP模型問(wèn)題分析摘要：本文在用人工神經(jīng)網(wǎng)絡(luò)BP模型對(duì)流域年均含沙量進(jìn)行多因素建模過(guò)程中，對(duì)BP算法進(jìn)行了改進(jìn)。在學(xué)習(xí)速率η的選取上引進(jìn)了一維搜索法，解決了人工輸入η時(shí)，若η值過(guò)小，收斂速度太慢，η值過(guò)大，又會(huì)使誤差函數(shù)值振蕩，導(dǎo)致算法不收斂的問(wèn)題。建模實(shí)踐表明，改進(jìn)后的BP算法可能使網(wǎng)絡(luò)誤差函數(shù)達(dá)到局部極小點(diǎn)，提高了算法的擬合精度。關(guān)鍵詞：BP算法學(xué)習(xí)速率年均含沙量一維搜索法　　我國(guó)河流眾多，自然資源十分豐富，但江河流域水土流失非常嚴(yán)重，給國(guó)家的可持續(xù)發(fā)展以及生態(tài)環(huán)境帶來(lái)較大的危害。對(duì)于流域產(chǎn)沙的定量研究，一般

2、采用單因子線性回歸方法。這類方法雖然也能反映出某種統(tǒng)計(jì)特性，但不能刻畫(huà)自然界復(fù)雜的非線性特性。人工神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)模型是復(fù)雜非線性映射的新方法。在引入這一新的定量研究方法對(duì)流域年均含沙量進(jìn)行建模預(yù)測(cè)時(shí)發(fā)現(xiàn)：算法中學(xué)習(xí)速率η值的選取對(duì)算法成敗起著關(guān)鍵作用，若η值過(guò)小，收斂速度太慢，而η值過(guò)大，又會(huì)使誤差函數(shù)值不下降，導(dǎo)致算法不收斂。本文正是針對(duì)這一問(wèn)題進(jìn)行了探討。1BP網(wǎng)絡(luò)模型及學(xué)習(xí)率η固定的弊端　　人工神經(jīng)網(wǎng)絡(luò)理論是80年代中后期迅速發(fā)展起來(lái)的一門前沿科學(xué)，其應(yīng)用已滲透到各個(gè)領(lǐng)域[1]。BP(BackPropagation)

3、神經(jīng)網(wǎng)絡(luò)模型是人工神經(jīng)網(wǎng)絡(luò)理論的重要模型之一，應(yīng)用尤為廣泛。盡管BP網(wǎng)絡(luò)模型發(fā)展逐步成熟，但仍然存在許多問(wèn)題，在理論上需要完善[2]。BP算法主要包括兩個(gè)過(guò)程，一是由學(xué)習(xí)樣本、網(wǎng)絡(luò)權(quán)值ω從輸入層→隱含層→輸出層逐次算出各層節(jié)點(diǎn)的輸出；二是反過(guò)來(lái)由計(jì)算輸出與實(shí)際輸出偏差構(gòu)出的誤差函數(shù)E（ω），用梯度下降法調(diào)節(jié)網(wǎng)絡(luò)權(quán)值，即ωk+1=ωk+η()使誤差E(ωk+1)減小?！　∩鲜街械摩菫閷W(xué)習(xí)速率，即沿負(fù)梯度方向的步長(zhǎng)。對(duì)于BP算法學(xué)習(xí)速率η的選取標(biāo)準(zhǔn)，一些研究者憑經(jīng)驗(yàn)認(rèn)為取0～1之間較合適，但這并無(wú)理論依據(jù)。實(shí)質(zhì)上，η大小的選取對(duì)

4、算法的成敗起關(guān)鍵作用，步長(zhǎng)過(guò)大，誤差函數(shù)值可能發(fā)生振蕩，甚至出現(xiàn)不收斂，而步長(zhǎng)過(guò)小，收斂速度又太慢，并且在每一次迭代中，可選步長(zhǎng)也不一樣。總之，對(duì)于BP算法固定的學(xué)習(xí)速率η不可能使網(wǎng)絡(luò)達(dá)到局部極值點(diǎn)。為此，本文引進(jìn)一維搜索法，在每一次迭代過(guò)程中讓計(jì)算機(jī)自動(dòng)去尋找一個(gè)最優(yōu)的步長(zhǎng)，這樣可使網(wǎng)絡(luò)收斂到局部極值點(diǎn)。2BP算法及其改進(jìn)2.1BP算法步驟　　1°隨機(jī)抽取初始權(quán)值ω０；21　　2°輸入學(xué)習(xí)樣本對(duì)（Xp,Yp），學(xué)習(xí)速率η，誤差水平ε；　　3°依次計(jì)算各層結(jié)點(diǎn)輸出opi,opj,opk；　　4°修正權(quán)值ωk+1=ωk+ηpk

5、,其中pk=,ωk為第k次迭代權(quán)變量；　　5°若誤差E<ε停止，否則轉(zhuǎn)3°。2.2最優(yōu)步長(zhǎng)ηk的確定　　在上面的算法中，學(xué)習(xí)速率η實(shí)質(zhì)上是一個(gè)沿負(fù)梯度方向的步長(zhǎng)因子，在每一次迭代中如何確定一個(gè)最優(yōu)步長(zhǎng)ηk，使其誤差值下降最快，則是典型的一維搜索問(wèn)題，即E(ωk+ηkpk)=(ωk+ηpk)。令Φ(η)=E(ωk+ηpk)，則Φ′(η)=dE(ωk+ηpk)/dη=E(ωk+ηpk)Tpk。若ηk為(η)的極小值點(diǎn)，則Φ′(ηk)=0，即E(ωk+ηpk)Tpk=-pTk+1pk=0。確定ηk的算法步驟如下　　1°給定η

6、0=0,h=0.01,ε0=0.00001；　　2°計(jì)算Φ′(η0),若Φ′(η0)=0,則令ηk=η0，停止計(jì)算；　　3°令h=2h,η1=η0+h；　　4°計(jì)算Φ′(η1)，若Φ′(η1)=0，則令ηk=η1，停止計(jì)算；　　若Φ′(η1)>0，則令a=η0,b=η1；若Φ′(η1)<0，則令η0=η1，轉(zhuǎn)3°；　　5°計(jì)算Φ′(a)，若Φ′(a)=0，則ηk=a，停止計(jì)算；　　6°計(jì)算Φ′(b)，若Φ′(b)=0，則ηk=b，停止計(jì)算；　　7°計(jì)算Φ′(a+b/2),若Φ′(a+b/2)=0，則ηk=a+b/

7、2，停止計(jì)算；　　若Φ′(a+b/2)<0,則令a=a+b/2;若Φ′(a+b/2)>0，則令b=a+b/2　　8°若｜a-b｜<ε0，則令，ηk=a+b/2,停止計(jì)算，否則轉(zhuǎn)7°。2.3改進(jìn)BP算法的特點(diǎn)分析　　在上述改進(jìn)的BP算法中，對(duì)學(xué)習(xí)速率η的選取不再由用戶自己確定，而是在每次迭代過(guò)程中讓計(jì)算機(jī)自動(dòng)尋找最優(yōu)步長(zhǎng)ηk。而確定ηk的算法中，首先給定η0=0，由定義Φ(η)=E(ωk+ηpk)知，Φ′(η)=dE(ωk+ηpk)/dη=E(ωk+ηpk)Tpk，即Φ′(η0)=-pTkpk≤0。若Φ′(η

8、0)=0，則表明此時(shí)下降方向pk為零向量，也即已達(dá)到局部極值點(diǎn)，否則必有Φ′(η0)<0，而對(duì)于一維函數(shù)Φ(η)的性質(zhì)可知，Φ′(η0)<0則在η0=0的局部范圍內(nèi)函數(shù)為減函數(shù)。故在每一次迭代過(guò)程中給η0賦初值0是合理的?！　「倪M(jìn)后的BP算法與原BP算法相比有兩處變化，即步驟2