bp處理異或問地的題目分析報(bào)告報(bào)告材料

《bp處理異或問地的題目分析報(bào)告報(bào)告材料》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、實(shí)用標(biāo)準(zhǔn)文案BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)“異或邏輯”分析舒小健S201305025摘要：本文采用matlab神經(jīng)網(wǎng)絡(luò)工具箱中的BP網(wǎng)絡(luò)處理“異或邏輯”。通過使用不同的網(wǎng)絡(luò)結(jié)構(gòu)、核函數(shù)、學(xué)習(xí)算法，討論其均方差誤差達(dá)到0.001時(shí)，所需要的迭代次數(shù)。結(jié)果表明二層神經(jīng)網(wǎng)絡(luò)以（L,P）組合訓(xùn)練結(jié)果最佳，三層神經(jīng)網(wǎng)絡(luò)以（L,P,P）訓(xùn)練結(jié)果最佳，且后者的訓(xùn)練速度比前者要快一倍左右；隱含層神經(jīng)元數(shù)個(gè)數(shù)設(shè)置為5個(gè)就能達(dá)到較快的訓(xùn)練速度；使用LM算法為學(xué)習(xí)算法將大大提高網(wǎng)絡(luò)的訓(xùn)練速度，平均迭代次數(shù)為3次左右即能達(dá)到目標(biāo)誤差。關(guān)鍵詞：異或邏輯BP神經(jīng)網(wǎng)絡(luò)優(yōu)化模型

2、引言：精彩文檔實(shí)用標(biāo)準(zhǔn)文案BP神經(jīng)網(wǎng)絡(luò)是一種由非線性變化單元組成的前饋網(wǎng)絡(luò)，以sigmoid對(duì)數(shù)函數(shù)、雙曲正切函數(shù)、線性函數(shù)等為核函數(shù)，通過誤差的反向傳導(dǎo)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以得到期望的輸出值，其中BP網(wǎng)絡(luò)的設(shè)計(jì)，訓(xùn)練算法的選取對(duì)模型的收斂速度有較大的影響。本報(bào)告通過構(gòu)建兩層和三層BP神經(jīng)網(wǎng)絡(luò)模型，選取不同的核函數(shù)、學(xué)習(xí)算法，不同個(gè)數(shù)的神經(jīng)元討論“異或邏輯”的實(shí)現(xiàn)效率，著重對(duì)其收斂速度進(jìn)行對(duì)比分析，以得到實(shí)現(xiàn)“異或邏輯”較優(yōu)的BP網(wǎng)絡(luò)設(shè)計(jì)。1問題描述“異或邏輯”，可用計(jì)算機(jī)語言表述為當(dāng)輸入值為就（0，0），（1，1），（1，0），（0，

3、1）時(shí)，期望輸出分別為0，0，1，1。采用matlab自帶的神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)分別從隱含層層數(shù)，隱含層神經(jīng)元個(gè)數(shù)，核函數(shù)，學(xué)習(xí)算法等方面進(jìn)行分析。討論其輸出值的均方差誤減少到0.001所需要的迭代次數(shù)，或者在迭代次數(shù)達(dá)到設(shè)定最大次數(shù)10000次時(shí)，所輸出的均方差誤差值的大小，具體分析見下文。2結(jié)果與分析2.1不同隱含層層數(shù)，核函數(shù)選取Matlab神經(jīng)網(wǎng)絡(luò)工具箱提供核函數(shù)有sigmoid函數(shù)logsig，線性函數(shù)purelin，雙曲正切函數(shù)tansig等。由于sigmoid函數(shù)與雙曲正切函數(shù)同屬于非線性函數(shù)，因此本文核函數(shù)僅限于非線性

4、和線性函數(shù)進(jìn)行討論，選取logsig和purelin函數(shù)為討論函數(shù)，在下文中將二者簡稱為L和P。精彩文檔實(shí)用標(biāo)準(zhǔn)文案設(shè)置學(xué)習(xí)效率為0.01，最大訓(xùn)練次數(shù)為10000次，期望均方差誤差為0.001，將隱含層的細(xì)胞數(shù)限定為4個(gè)，分別對(duì)二層[4,1]和三層[4,4,1]神經(jīng)網(wǎng)絡(luò)設(shè)置不同的核函數(shù)進(jìn)行討論，學(xué)習(xí)函數(shù)為標(biāo)準(zhǔn)BP算法traingd，由于工具箱函數(shù)的各層的初始權(quán)重是隨機(jī)分配的，所以對(duì)每種核函數(shù)設(shè)置都進(jìn)行10次重復(fù)試驗(yàn)取平均值進(jìn)行討論，其中表中小數(shù)表示訓(xùn)練均方差誤差，即訓(xùn)練次數(shù)達(dá)到最大訓(xùn)練次數(shù)10000次時(shí)的訓(xùn)練誤差；整數(shù)表示迭代次數(shù)

5、，即訓(xùn)練達(dá)到訓(xùn)練目標(biāo)誤差時(shí)所對(duì)應(yīng)的訓(xùn)練次數(shù)。訓(xùn)練結(jié)果如表1和表2所示：表1網(wǎng)絡(luò)設(shè)置為[4,1]隱含層和輸出層不同的激活函數(shù)選取實(shí)驗(yàn)結(jié)果對(duì)比核函數(shù)設(shè)置12345678910平均值(L,L)0.370.070.020.070.140.080.020.040.140.260.12（L,P）21944637417516953227364416302644465024353093（P,L）0.250.250.250.250.250.250.250.250.250.250.25（P,P）0.250.250.250.250.250.250.250

6、.250.250.250.25由表1可以看出隱含層核函數(shù)的設(shè)置很重要，當(dāng)隱含層核函數(shù)設(shè)置為sigmoid函數(shù)時(shí)，其均方差誤差普遍小于設(shè)置為線性函數(shù)的誤差；而且在其輸出層的核函數(shù)設(shè)置為線性函數(shù)時(shí)，能在最大限定訓(xùn)練次數(shù)內(nèi)達(dá)到訓(xùn)練目標(biāo)誤差0.001。由表2可以看出，當(dāng)網(wǎng)絡(luò)隱含層設(shè)置成兩層時(shí)，情況就變得復(fù)雜多樣，當(dāng)只有一層隱含層神經(jīng)網(wǎng)絡(luò)不能在規(guī)定的訓(xùn)練次數(shù)內(nèi)達(dá)到目標(biāo)誤差時(shí)，通過增加隱含層并設(shè)置適宜的核函數(shù)可以達(dá)到增快訓(xùn)練速度的目的。如表1中（P,P）不能達(dá)到精度，但通過增加隱含層P在規(guī)定最大訓(xùn)練次數(shù)內(nèi)達(dá)到目標(biāo)精度。但如果網(wǎng)絡(luò)函數(shù)設(shè)定不當(dāng)，會(huì)

7、使得訓(xùn)練結(jié)果變得更糟，從表2中可以看出最好的訓(xùn)練核函數(shù)組合為精彩文檔實(shí)用標(biāo)準(zhǔn)文案（L,P,P），該組能夠在迭代次數(shù)為1000次左右達(dá)到訓(xùn)練精度?？傮w上來說，以sigmoid函數(shù)L為輸出層函數(shù)的網(wǎng)絡(luò)組合普遍比線性函數(shù)P為輸出函數(shù)的訓(xùn)練速度慢。表2網(wǎng)絡(luò)設(shè)置為[4,4,1]兩個(gè)隱含層和輸出層不同的激活函數(shù)選取實(shí)驗(yàn)結(jié)果對(duì)比核函數(shù)設(shè)置12345678910平均值(P,P,P)2349215719154818426380182847355530679603395(L,P,P)70122056411531455602140574739455291

8、276(L,L,P)5559272218621000021432461100003090297531124392(L,L,L)0.0490.0330.2400.0310.0420.1390.1290.2510.1410.1540.12