基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究

《基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、1神經(jīng)網(wǎng)絡(luò)基本概念2前饋神經(jīng)網(wǎng)絡(luò)3反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)4數(shù)據(jù)挖掘技術(shù)5基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究1神經(jīng)網(wǎng)絡(luò)基本概念1.1生物神經(jīng)元細胞體、樹突、軸突和突觸。生物神經(jīng)元的工作機制興奮和抑制兩種狀態(tài)。（1）興奮狀態(tài)傳遞興奮信號（2）抑制狀態(tài)傳遞抑制信息1.2人工神經(jīng)元人工神經(jīng)元：生物神經(jīng)元的簡化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化。連接的權(quán)值：兩個互連的神經(jīng)元之間相互作用的強弱。圖8.2人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出)互連強度作比較的

2、閾值n維輸入向量X輸出輸出函數(shù)神經(jīng)元的動作：輸出函數(shù)f：也稱作用函數(shù)，非線性。閾值型S型f為閾值型函數(shù)時：設(shè)，點積形式：式中，1.3神經(jīng)網(wǎng)絡(luò)的學習學習：從環(huán)境中獲取知識并改進自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)達到某種度量，又稱為網(wǎng)絡(luò)的訓練。實質(zhì)：神經(jīng)網(wǎng)絡(luò)的最重要特征之一。神經(jīng)網(wǎng)絡(luò)學習方式---監(jiān)督學習監(jiān)督學習：對每一個輸入訓練樣本，都有一個期望得到的輸出值（也稱教師信號），將它和實際輸出值進行比較，根據(jù)兩者之間的差值不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)值，直到差值減少到預(yù)定的要求。教師神經(jīng)網(wǎng)絡(luò)比較環(huán)境實際輸出輸入期望輸

3、出誤差信號p(n)t(n)a(n)e(n)神經(jīng)網(wǎng)絡(luò)學習方式---無監(jiān)督、自組織學習無監(jiān)督學習：網(wǎng)絡(luò)的學習完全是一種自我調(diào)整的過程，不存在教師信號。輸入模式進入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照預(yù)先設(shè)定的某種規(guī)則反復地自動調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。神經(jīng)網(wǎng)絡(luò)環(huán)境輸入1.4神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類分層結(jié)構(gòu)有明顯層次，信息流向由輸入層到輸出層?！梆伨W(wǎng)絡(luò)沒有明顯層次，任意兩個神經(jīng)元之間可達，具有輸出單元到隱層單元或輸入單元的反饋連接?！答伨W(wǎng)絡(luò)相互連接結(jié)構(gòu)2前饋神經(jīng)網(wǎng)絡(luò)2.1感知器感知器（Percept

4、ron）：F．Rosenblatt于1957年提出。感知器結(jié)構(gòu)示意圖*雙層（輸入層、輸出層）；*兩層單元之間為全互連；*連接權(quán)值可調(diào)。結(jié)構(gòu)特點：*輸出層神經(jīng)元個數(shù)等于類別數(shù)。設(shè)輸入模式向量，，共M類。輸出層第j個神經(jīng)元對應(yīng)第j個模式類，θj：第j個神經(jīng)元的閾值；wij：輸入模式第i個分量與輸出層第j個神經(jīng)元間的連接權(quán)。令。取有輸出為輸出單元對所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。M類問題判決規(guī)則(神經(jīng)元的輸出函數(shù))為*正確判決的關(guān)鍵：輸出層每個神經(jīng)元必須有一組合適的權(quán)值。*感知器采用監(jiān)

5、督學習算法得到權(quán)值；*權(quán)值更新方法：δ學習規(guī)則。算法描述第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個神經(jīng)元的閾值。第二步：輸入新的模式向量。第三步：計算神經(jīng)元的實際輸出。設(shè)第k次輸入的模式向量為Xk，與第j個神經(jīng)元相連的權(quán)向量為第j個神經(jīng)元的實際輸出為第四步：修正權(quán)值。dj：第j個神經(jīng)元的期望輸出。第五步：轉(zhuǎn)到第二步。當全部學習樣本都能正確分類時，學習過程結(jié)束。經(jīng)驗證明，當η隨k的增加而減小時，算法一定收斂。2.2BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)：采用BP算法（Back-PropagationTrai

6、ningAlgorithm）的多層感知器。誤差反向傳播算法認識最清楚、應(yīng)用最廣泛。性能優(yōu)勢：識別、分類1．多層感知器針對感知器學習算法的局限性：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡(luò)；結(jié)構(gòu)：只允許一層連接權(quán)可調(diào)。學習過程分為兩個階段：第一階段（正向傳播過程）：給出輸入信息通過輸入層經(jīng)各隱層逐層處理并計算每個單元的實際輸出值第二階段（反向傳播過程）：若在輸出層未能得到期望的輸出值，則逐層遞歸地計算實際輸出與期望輸出之間的差值（即誤差），通過梯度下降法來修改權(quán)值

7、，使得總誤差函數(shù)達到最小。2．BP算法BP算法的學習過程設(shè)：某層任一神經(jīng)元j的輸入為netj，輸出為yj；相鄰低一層中任一神經(jīng)元i的輸出為yi。jiwij：神經(jīng)元i與j之間的連接權(quán)；f(?)：神經(jīng)元的輸出函數(shù)。S型輸出函數(shù)：θj：神經(jīng)元閾值；h0：修改輸出函數(shù)形狀的參數(shù)。設(shè)：輸出層中第k個神經(jīng)元的實際輸出為yk，輸入為netk；與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。對輸入模式Xp，若輸出層中第k個神經(jīng)元的期望輸出為dpk，實際輸出為ypk。輸出層的輸出方差：若輸入N個模式，網(wǎng)絡(luò)的系統(tǒng)均方差為：當

8、輸入Xp時，wjk的修正增量：其中，由式得到：令，可得輸出單元的誤差：輸出單元的修正增量：對于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層中的神經(jīng)元i：輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對各層之間的權(quán)值進行修正。BP算法步驟：第一步：對權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機數(shù)。第二步：輸入樣本，指定輸出層各神經(jīng)元的期望輸出值。第三步：依次計算每層神經(jīng)元的實際輸出，直到輸出層。第四步：從輸出層開始修正每個權(quán)值，直到第一隱層