卷積神經(jīng)網(wǎng)絡(luò)convolutional neural networks(cnn)

《卷積神經(jīng)網(wǎng)絡(luò)convolutional neural networks(cnn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、卷積神經(jīng)網(wǎng)絡(luò)ConvolutionalNeuralNetworks（CNN）一、什么是卷積首先回顧一下，數(shù)字圖像處理中我們用卷積模板和原始圖像的像素卷積。過(guò)程如下：Step1、先將模板旋轉(zhuǎn)180度（又稱折疊）Step2、然后讓模板依次和原始圖像重疊，并且計(jì)算重疊部分的數(shù)值乘積之和以2D為例先對(duì)模板K做折疊，然后依次覆蓋圖像I，并且計(jì)算重疊部分的數(shù)值乘積之和依次進(jìn)行到最后，會(huì)多出一圈，得到最后的卷積結(jié)果卷積的意義（圖像處理而言）；對(duì)圖像使用不同的卷積模板，對(duì)圖像做不同的處理。比如平滑模板可以使圖像模糊，并且可以減少噪聲、銳化模板可以使圖像的輪廓變得清晰。二、卷積網(wǎng)絡(luò)的結(jié)構(gòu)2.1從

2、BP網(wǎng)絡(luò)到卷積網(wǎng)絡(luò)回想一下BP神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)每一層節(jié)點(diǎn)是一個(gè)線性的一維排列狀態(tài)，層與層的網(wǎng)絡(luò)節(jié)點(diǎn)之間是全連接的。這樣設(shè)想一下，如果BP網(wǎng)絡(luò)中層與層之間的節(jié)點(diǎn)連接不再是全連接，而是局部連接的。這樣，就是一種最簡(jiǎn)單的一維卷積網(wǎng)絡(luò)。如果我們把上述這個(gè)思路擴(kuò)展到二維，這就是我們?cè)诖蠖鄶?shù)參考資料上看到的卷積神經(jīng)網(wǎng)絡(luò)。具體參看下圖：圖1：全連接的2D網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）圖2：局部連接的2D網(wǎng)絡(luò)（卷積網(wǎng)絡(luò)）現(xiàn)在我們考慮單隱層結(jié)構(gòu)，上圖左：全連接網(wǎng)絡(luò)。如果我們有1000x1000像素的圖像，有1百萬(wàn)個(gè)隱層神經(jīng)元，每個(gè)隱層神經(jīng)元都連接圖像的每一個(gè)像素點(diǎn)，就有1000x1000x1000000=1

3、0^12個(gè)連接，也就是10^12個(gè)權(quán)值參數(shù)。上圖右：局部連接網(wǎng)絡(luò)，每一個(gè)節(jié)點(diǎn)與上層節(jié)點(diǎn)同位置附近10x10的窗口相連接，則1百萬(wàn)個(gè)隱層神經(jīng)元就只有100w乘以100，即10^8個(gè)參數(shù)。其權(quán)值連接個(gè)數(shù)比原來(lái)減少了四個(gè)數(shù)量級(jí)。因此，卷積網(wǎng)絡(luò)降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過(guò)程。2.2卷積網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，而每個(gè)平面由多個(gè)獨(dú)立神經(jīng)元組成。卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)特征提取層（C-層）都緊跟著一個(gè)用來(lái)求局部平均與

4、二次提取的下采樣層（S-層），這種特有的兩次特征提取結(jié)構(gòu)使網(wǎng)絡(luò)在識(shí)別時(shí)對(duì)輸入樣本有較高的畸變?nèi)萑棠芰?。圖3經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖原始圖像的大小決定了輸入向量的尺寸，隱層由C-層（特征提取層）和S-層（下采樣層）組成，每層均包含多個(gè)平面。C1層神經(jīng)元提取圖像的局部特征，因此每個(gè)神經(jīng)元都與前一層的局部感受野（也就是局部輸入窗口）相連。C1層中各平面（由神經(jīng)元構(gòu)成）提取圖像中不同的局部特征，如邊緣特征，上下左右方向特征等，C1層中的輸入是有由上一層局部窗口的數(shù)值和連接的權(quán)值的加權(quán)和（也就是卷積，后面會(huì)具體解釋為什么是卷積），然后通過(guò)一個(gè)激活函數(shù)（如sigmoid函數(shù)，反正切函數(shù)）得

5、到C1層的輸出，接下來(lái)S2層是下采樣層，簡(jiǎn)單來(lái)書，由4個(gè)點(diǎn)下采樣為1個(gè)點(diǎn)，也就是4個(gè)數(shù)的加權(quán)平均。換句話說(shuō)，就是我們把2*2的像素縮小成為一個(gè)像素，某種意義上來(lái)說(shuō)可以認(rèn)識(shí)是圖像處理中的模糊。然后按照這個(gè)C—S的結(jié)構(gòu)繼續(xù)構(gòu)成隱層，當(dāng)然這些隱層的連接都是局部相連的。同時(shí)有人會(huì)問(wèn)了，例如S2和C3層具體要怎么連接呢，為什么會(huì)從6張變成16張?zhí)卣鲌D呢。C3層的特征圖是由S2層圖像的感受野和對(duì)應(yīng)權(quán)值的卷積后，通過(guò)隨機(jī)的組合而形成的，也就意味著S2層和C3層并不像C1層和S2層那樣是一一對(duì)應(yīng)的。但當(dāng)我們感受野的大小和圖像一樣時(shí)，我們經(jīng)過(guò)特征提取后就變成一個(gè)像素了，這里我們開(kāi)始使用全連接（這

6、樣才能完整的把特征保留）。2.3為什么給這種局部連接命名為卷積網(wǎng)絡(luò)?卷積網(wǎng)絡(luò)第一個(gè)特點(diǎn)是連接權(quán)值遠(yuǎn)遠(yuǎn)小于BP網(wǎng)絡(luò)的權(quán)值。卷積神經(jīng)網(wǎng)絡(luò)另外一個(gè)特性是權(quán)值共享。這樣一來(lái)就更進(jìn)一步減少了對(duì)網(wǎng)絡(luò)權(quán)值的訓(xùn)練（畢竟權(quán)值是共享的，也就意味著有一些全是是相同的）。權(quán)值共享是指同一平面層的神經(jīng)元權(quán)值相同。如何理解呢！看下圖2，假設(shè)紅色的點(diǎn)和黑色的點(diǎn)是C1層第一個(gè)特征圖的2個(gè)不同神經(jīng)元，感受窗口的大小是5*5的（意味著有25個(gè)連接），這2個(gè)神經(jīng)元連接的權(quán)值是共享的（相同的）。這樣一來(lái)，C1層中的每個(gè)神經(jīng)元的輸入值，都有由原始圖像和這個(gè)相同的連接權(quán)值的加權(quán)和構(gòu)成的，想想看，這個(gè)過(guò)程是不是和卷積的過(guò)程

7、很像呢！沒(méi)錯(cuò)，就是由這個(gè)得名的。同時(shí)這樣一來(lái)，我們需要訓(xùn)練的權(quán)值就更少了，因?yàn)橛泻芏喽际窍嗤?。還沒(méi)理解的話，接著看?C1層是一個(gè)卷積層（也就是上面說(shuō)的特征提取層），由6個(gè)特征圖FeatureMap構(gòu)成。特征圖中每個(gè)神經(jīng)元與輸入中5*5的鄰域相連。特征圖的大小為28*28。C1層有156個(gè)可訓(xùn)練參數(shù)（每個(gè)濾波器5*5=25個(gè)unit參數(shù)和一個(gè)bias[偏置]參數(shù)，一共6個(gè)濾波器，共(5*5+1)*6=156個(gè)參數(shù)），共156*(28*28)=122,304個(gè)連接。??????S2層是一個(gè)下采