基于bp神經(jīng)網(wǎng)絡(luò)的日負(fù)荷預(yù)測

《基于bp神經(jīng)網(wǎng)絡(luò)的日負(fù)荷預(yù)測》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、基于BP神經(jīng)網(wǎng)絡(luò)的日負(fù)荷預(yù)測1BP神經(jīng)網(wǎng)絡(luò)1.1人工神經(jīng)網(wǎng)絡(luò)簡介及基本問題1.1.1人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，即ANN）是一種采用物理可實現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。人工神經(jīng)網(wǎng)絡(luò)是近年來十分熱門的交叉學(xué)科，它涉及生物、電子、計算機(jī)、數(shù)學(xué)和物理學(xué)科，有著非常廣泛的應(yīng)用前景，其應(yīng)用領(lǐng)域包括：建模、時間序列分析、模式識別和控制等。人工神經(jīng)網(wǎng)

2、絡(luò)的模型目前已有近40種，其中有反傳網(wǎng)絡(luò)、感知器、自組織映射、Hopfield網(wǎng)絡(luò)、波耳茲曼機(jī)、適應(yīng)諧振理論等。根據(jù)連接的拓?fù)浣Y(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)模型可以分為兩類：前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。前向神經(jīng)網(wǎng)絡(luò)模型是指那些在網(wǎng)絡(luò)中各處理單元之間的連接都是單向的，而且總是指向網(wǎng)絡(luò)輸出方向的網(wǎng)絡(luò)模型。反傳網(wǎng)絡(luò)就是一種典型的前向網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)模型是一種反饋動力學(xué)系統(tǒng)，它具有極復(fù)雜的動力學(xué)特性。反饋神經(jīng)網(wǎng)絡(luò)模型可以用完備的無向圖表示，代表性的模型包括：Hopfield網(wǎng)絡(luò)模型和Hamming網(wǎng)絡(luò)模型。1.1.2人工神經(jīng)網(wǎng)絡(luò)的基

3、本問題人工神經(jīng)元模型是生物神經(jīng)元的模擬與抽象。這里所說的抽象是從數(shù)學(xué)角度而言，所謂模擬是對神經(jīng)元的結(jié)構(gòu)和功能而言，相當(dāng)于一個多輸入單輸出的非線性閾值器件。人工神經(jīng)網(wǎng)絡(luò)模型主要考慮的問題有：網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)、神經(jīng)元的特征、學(xué)習(xí)規(guī)則等。人工神經(jīng)元網(wǎng)絡(luò)模型是將神經(jīng)元通過一定的結(jié)構(gòu)組織起來，從而構(gòu)成人工神經(jīng)元網(wǎng)絡(luò)。按照神經(jīng)元連接的拓?fù)浣Y(jié)構(gòu)不同，可分為分層網(wǎng)絡(luò)和相互連接型網(wǎng)絡(luò)。分層網(wǎng)絡(luò)是將一個神經(jīng)元網(wǎng)絡(luò)模型中的所有神經(jīng)元按功能分為若干層，一般有輸入層、中間層和輸出層。相互連接型網(wǎng)絡(luò)是指網(wǎng)絡(luò)中任意兩個單元之間

4、都可以相互連接。神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)過程是模仿人的學(xué)習(xí)過程，其學(xué)習(xí)方式主要有三種：有導(dǎo)師學(xué)習(xí)、無導(dǎo)師學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。學(xué)習(xí)是一個相對持久的變化過程，同時也是一個推理過程，例如通過經(jīng)驗也可以學(xué)習(xí)，學(xué)習(xí)是神經(jīng)元網(wǎng)絡(luò)最重要的能力。神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則在學(xué)習(xí)過程中主要是指網(wǎng)絡(luò)的連接權(quán)的值發(fā)生了改變，學(xué)習(xí)到的內(nèi)容也是記憶在連接權(quán)之中。學(xué)習(xí)規(guī)則有：Hebb學(xué)習(xí)規(guī)則、感知機(jī)(Perception)學(xué)習(xí)規(guī)則、Delta學(xué)習(xí)規(guī)則等等。神經(jīng)元網(wǎng)絡(luò)的工作過程是重復(fù)地對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，當(dāng)網(wǎng)絡(luò)訓(xùn)練好了以后，就可以正常進(jìn)行工作，可以用

5、來分析數(shù)據(jù)和處理問題。1.2BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)是一種多層感知器，網(wǎng)絡(luò)由若干層神經(jīng)元組成，每個神經(jīng)元都是一個感知器，每層包含多個感知器，相鄰層神經(jīng)元用權(quán)連接起來，信號從前往后順序傳播，故又稱其為前向傳播網(wǎng)絡(luò)。它是目前應(yīng)用最為廣泛的一種神經(jīng)網(wǎng)絡(luò)。其拓?fù)浣Y(jié)構(gòu)如圖1所示。網(wǎng)絡(luò)由輸入層、隱含層、輸出層組成。圖1BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)此外，網(wǎng)絡(luò)中單個神經(jīng)元的輸入與輸出之間的函數(shù)關(guān)系叫做激活函數(shù)。激活函數(shù)有許多種類型，其中比較常用的激活函數(shù)有三種形式：閾值型，S型和線性型。在BP網(wǎng)絡(luò)中，要求激活函數(shù)必須是處處可微的，所以

6、經(jīng)常采用S型和線性函數(shù)。BP網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的指導(dǎo)思想是：對網(wǎng)絡(luò)權(quán)值和閾值的修正要沿著誤差函數(shù)下降最快的方向（負(fù)梯度方向）進(jìn)行。即：（1）其中是當(dāng)前的權(quán)值和閾值矩陣，是當(dāng)前誤差函數(shù)的梯度，是學(xué)習(xí)速度。下面以只含一個隱含層的三層BP網(wǎng)絡(luò)為例，介紹BP算法的推導(dǎo)過程。對該網(wǎng)絡(luò)中的相關(guān)記號做如下約定：1、輸入層節(jié)點(diǎn)數(shù)為，隱含層節(jié)點(diǎn)數(shù)為，輸出層節(jié)點(diǎn)數(shù)為。相應(yīng)各層結(jié)點(diǎn)的編號為，，，，，；2、輸入層節(jié)點(diǎn)與隱含層各節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值為，隱含層各節(jié)點(diǎn)的閾值為；隱含層節(jié)點(diǎn)與輸出層各節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值為，輸出層各節(jié)點(diǎn)的閾值為；

7、3、表示輸入層第個輸入（或輸出），表示隱含層第個輸出，表示輸出層第個輸出；4、為輸出層對應(yīng)節(jié)點(diǎn)的期望值。則模型的推導(dǎo)過程如下：隱含層節(jié)點(diǎn)的輸出為：（2）其中（3）輸出節(jié)點(diǎn)的計算輸出為：（4）其中（5）輸出節(jié)點(diǎn)的誤差為：（6）1）誤差函數(shù)對輸出節(jié)點(diǎn)求導(dǎo)（7）式中，E是多個的函數(shù)。但有一個與有關(guān)，各間相互獨(dú)立，其中（8）（9）則：（10）設(shè)輸入節(jié)點(diǎn)誤差為：（11）則：（12）2）誤差函數(shù)對隱層節(jié)點(diǎn)求導(dǎo)（13）E是多個的函數(shù)，針對某一個，對應(yīng)一個，它與所有有關(guān)，其中（14）（15）（16）則：（17）設(shè)隱

8、層節(jié)點(diǎn)誤差為：（18）則：（19）由于權(quán)值的修正，正比于誤差函數(shù)沿梯度下降，則有：（20）（21）（22）（23）（24）（25）其中，隱層節(jié)點(diǎn)誤差中的表示輸出節(jié)點(diǎn)的誤差通過權(quán)值向節(jié)點(diǎn)反向傳播成為隱層節(jié)點(diǎn)的誤差。3）閾值的修正閾值也是變化值，在修正權(quán)值的同時也需要修正，原理同權(quán)值修正一樣。誤差函數(shù)對輸出節(jié)點(diǎn)閾值求導(dǎo)（26）其中（27）（28）則：（29）閾值修正：（30）（31）誤差函數(shù)對隱層節(jié)點(diǎn)閾值求導(dǎo)（32）其中（33）（34）（35）則：（36）閾值修正：（37