SumofProduct神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的逼近能力研究

《SumofProduct神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的逼近能力研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、大連理工大學(xué)博士學(xué)位論文摘要神經(jīng)網(wǎng)絡(luò)理論在近年來得到了迅速發(fā)展．神經(jīng)網(wǎng)絡(luò)的逼近能力是考察神經(jīng)網(wǎng)絡(luò)性能的重要一環(huán)．實際應(yīng)用問題中要逼近的映射通常非常復(fù)雜，我們不能期待完全精確計算這些未知的映射．現(xiàn)在比較流行的趨勢是用神經(jīng)網(wǎng)絡(luò)計算一元函數(shù)或其它簡單函數(shù)的復(fù)合和線性組合逼近靜態(tài)映射．這與如下的問題相關(guān)：是否，或在什么條件下，一族神經(jīng)網(wǎng)絡(luò)輸出函數(shù)在某個多元函數(shù)空間中稠密?即神經(jīng)網(wǎng)絡(luò)的逼近能力的研究．神經(jīng)網(wǎng)絡(luò)的逼近能力問題作為神經(jīng)網(wǎng)絡(luò)的一個基本問題，隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，引起了工程界和數(shù)學(xué)家們的廣泛關(guān)注．稠密性是理論上能夠逼近函數(shù)的能力，滿足稠密性并不意味著這種形式是一種有效的逼近格式．然而，

2、缺少稠密性的保證就意味著一些網(wǎng)絡(luò)是不可能作逼近應(yīng)用的．對于神經(jīng)網(wǎng)絡(luò)的逼近問題，在數(shù)學(xué)上講可以分為四個方面：函數(shù)逼近，函數(shù)族逼近(強逼近)，連續(xù)泛函逼近以及連續(xù)算子逼近．迄今，人們提出了很多神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用最廣泛的是前饋神經(jīng)網(wǎng)絡(luò)，所以各種前饋網(wǎng)絡(luò)的逼近能力的研究任務(wù)更加急迫．學(xué)者們對徑向基函數(shù)(RaF)神經(jīng)網(wǎng)絡(luò)的逼近能力已有了深入的研究，然而已有研究結(jié)果仍需要發(fā)展和完善．同時，學(xué)者們在研究神經(jīng)網(wǎng)絡(luò)對函數(shù)族的逼近能力時，都是利用了已有的多層感知器(MLP)和RBF神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力定理，得到了這兩種不同網(wǎng)絡(luò)的強逼近結(jié)果，那么對一般的前饋網(wǎng)絡(luò)的函數(shù)逼近性和強逼近性之間是不是也存在著

3、這種聯(lián)系呢?這一問題對提出統(tǒng)一的逼近理論框架具有重要的實際意義．Sum．of-Product神經(jīng)網(wǎng)絡(luò)和Sigma．Pi．Sigma神經(jīng)網(wǎng)絡(luò)是分別于2000年和2003年提出的，它們都是由求積神經(jīng)元和求和神經(jīng)元構(gòu)成的多層神經(jīng)網(wǎng)絡(luò)，試圖解決經(jīng)典RBF網(wǎng)絡(luò)和MLP網(wǎng)絡(luò)遇到的存儲記憶量大和學(xué)習(xí)困難的問題．這兩種網(wǎng)絡(luò)在函數(shù)逼近、預(yù)測、分類和學(xué)習(xí)控制任務(wù)中都有很好的表現(xiàn)．本論文分別討論了這兩種神經(jīng)網(wǎng)絡(luò)的一致逼近能力和汐逼近能力．已有的神經(jīng)網(wǎng)絡(luò)逼近理論主要是存在性地證明了神經(jīng)網(wǎng)絡(luò)的逼近能力，我們應(yīng)用一種構(gòu)造型方法證明了具有RBF型和平移伸縮不變(TDI)型隱單元的三層前饋神經(jīng)網(wǎng)絡(luò)只需隨機選擇隱單

4、元的權(quán)值參數(shù)，然后適當調(diào)整新增的隱單元和輸出單元之間的權(quán)值，網(wǎng)絡(luò)輸出函數(shù)就能夠以任意精度逼近L2(礎(chǔ))中任意函數(shù)．同時，我們的結(jié)果給出了一種自然地建立漸增網(wǎng)絡(luò)逼近L2(Rd)中函數(shù)的方法．．形如g(a．z1的嶺函數(shù)及其線性組合，在拓撲學(xué)、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計學(xué)、調(diào)和分析和逼近理論中都有廣泛應(yīng)用．這里9是一元函數(shù)，n．z表示歐氏空間Rn中內(nèi)積．確定在什么程度上函數(shù)表示成嶺函數(shù)的和的表達方式是唯一的，是非常重要的課題．已有的這方面的研究結(jié)果考慮的是9∈c(R)和夕∈Lk(碾)的情況，我們將相應(yīng)的結(jié)論推廣Sum—of-Product神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的逼近能力研究Ng∈魄(酞)(1≤

5、P

6、性定理．第三章給出了RBF神經(jīng)網(wǎng)絡(luò)在汐空間中的函數(shù)逼近能力以及強逼近和算子逼近能力的結(jié)果．這些結(jié)果改進了陳天平和蔣傳海等人最近在RBF神經(jīng)網(wǎng)絡(luò)逼近方面的結(jié)果，為RBF神經(jīng)網(wǎng)絡(luò)的應(yīng)用提供了理論基礎(chǔ)．另外，我們還得到了前饋神經(jīng)一般形式的強逼近定理，現(xiàn)有的很多結(jié)果都是它的特例．第四章指出了Ⅱ已上的連續(xù)函數(shù)作為Sum．of-Product神經(jīng)網(wǎng)絡(luò)的激活函數(shù)時，網(wǎng)絡(luò)所生成函數(shù)集合在C(K)中稠密的充分必要條件是它不是多項式．迸一步地，我們還給出TSigma．Pi．Sigma神經(jīng)網(wǎng)絡(luò)所生成的函數(shù)集合在C(K)中稠密的充分必要條件．第五章揭示了Sum．of-Product神經(jīng)網(wǎng)絡(luò)所生成的函數(shù)集合

7、在ze(r：)中稠密的充要條件．另外，我們根據(jù)Sum．of-Product神經(jīng)網(wǎng)絡(luò)的逼近結(jié)果，討論]'Sigma．Pi．Sigma神經(jīng)網(wǎng)絡(luò)的p逼近能力．第六章研究了具有隨機隱單元的三層漸增前饋神經(jīng)網(wǎng)絡(luò)對L2(耐)中函數(shù)的逼近能力．主要討論了具有RBF型和平移伸縮不變(TDI)型隱單元的前饋神經(jīng)網(wǎng)絡(luò)．我們指出了對于具有RBF型隱單元的網(wǎng)絡(luò)，給定非零激活函數(shù)9：R—Rng(1lxllR。)∈L2(Rd)，或者對于具有TDI型隱單元的網(wǎng)絡(luò)，給定非零激活函數(shù)g(x)∈L2(R