資源描述：
《曾嘯貝葉斯分類.doc》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。
1、貝葉斯模式分類器碩937班姓名：曾嘯學號：3109091004一、實驗目的通過本次實驗了解模式識別課程的用處，初步了解貝葉斯判別準則，并深入掌握正態(tài)分布模式的貝葉斯分類器，觀察各種因素及參數對分類錯誤概率的影響。b5E2RGbCAP二、實驗原理模式識別的分類問題是根據識別對象特征的觀察值將其分到某個類別中去，統(tǒng)計決策理論是處理模式分類問題的基本理論之一，它對模式分析和分類器的設計有著實際的指導意義。貝葉斯決策理論方法是統(tǒng)計模式識別中的一個基本方法，用這個方法進行分類時要求：p1EanqFDPw分類別總體的概率分布是已知的；決策分類的類別數是一定的。在模式分類問題中，人們往往希
2、望盡量減少分類的錯誤，從這樣的要求出發(fā)，利用概率論中的貝葉斯公式，就能得出使錯誤率為最小的分類規(guī)則，稱之為基于最小錯誤率的貝葉斯決策。應用貝葉斯最小錯誤概率判別原則來分類，可使得分類器發(fā)生分類錯誤的概率最小。DXDiTa9E3d對于兩類模式集的分類，即對于兩個類別和，要確定是屬于類還是類，這應由來自類或類的后驗概率來判斷，其中是維觀測向量，表示為：RTCrpUDGiT如，則<1－1）如，則在通常情況下后驗概率很難得到，然而利用貝葉斯公式，后驗概率可由類別的先驗概率和條件概率算出，即由式<1－1），判別規(guī)則可表示為：如果，則；如果，則；對于具有正態(tài)分布的兩類模式來說，多元正態(tài)分
3、布的密度函數為：式中是維列向量；是維均值向量；是8/8維協(xié)方差矩陣，是的逆矩陣，是的行列式；是的轉置，且；對于正態(tài)分布的兩類模式來說：可見，多變量正態(tài)密度函數完全由均值向量及協(xié)方差矩陣所確定。取自一個正態(tài)總體的樣本模式的分布是聚集于一個集群之內，其中心決定于均值向量，而其分布形狀決定于其協(xié)方差矩陣，分布的等密度點的軌跡為超橢圓，橢圓的主軸與協(xié)方差矩陣的本征向量的方向一致，主軸的長度被本征值所決定。5PCzVD7HxA根據類別判別函數：對于兩類問題，判別規(guī)則如下：，則；，則對于正態(tài)密度函數，由對數函數的單調性，對判別函數取自然對數：代入得：常數項兩兩想減時可以消去，故可以將旁別
4、函數進行如下改造：這就是正態(tài)分布模式的貝葉斯判別函數?？梢钥闯鍪浅吻妫詫τ趦深愓龖B(tài)分布模式的貝葉斯分類器來說，兩個模式類別之間用一個二次判別界面分開，就可以求得最優(yōu)的分類效果。jLBHrnAILg三、實驗步驟實驗中對三組正態(tài)分布模式的數據進程序的基本思想如下：1.根據樣本數N,對三組原始數據分別計算它們的均值向量和協(xié)方差矩陣；在假定先驗概率相同的情況下，對于其他數據分別計算其判別函數，根據判別函數分別在任兩組數據間進行分類。N的取法采用兩種識別中最經典的取法：1.取三留一法，取37個數據做訓練集，取13個數據做測試，分別按正序和反序取1次；2.訓練集即測試集。xHA
5、QX74J0X2.設定不同的先驗概率，重復1，重新計算其判別函數，進行分類。四、實驗結果與分析8/81、已知有三組數據，每組分別有50個樣本模式，樣本是4維的。在這里我們先假設，即兩個類別的概率相同。對于第一類和第二類數據在不同學習樣本下的正確率：正態(tài)分布的兩類X1與X2之間的分類樣本選取方式取三留一正序取三留一反序測試集即訓練集X1的分類正確率100%100%100%X2的分類正確率100%100%100%對于第一類和第三類數據在不同學習樣本下的正確率：正態(tài)分布的兩類X1與X3之間的分類樣本選取方式取三留一正序取三留一反序測試集即訓練集X1的分類正確率100%100%100
6、%X3的分類正確率100%100%100%對于第二類和第三類數據在不同學習樣本下的正確率：正態(tài)分布的兩類X2與X3之間的分類樣本選取方式取三留一正序取三留一反序測試集即訓練集X2的分類正確率92.3%100%94%X3的分類正確率100%100%98%實驗結果表明經典的分類樣本選擇方法對于這三組兩兩分類問題表現出了一定的優(yōu)越性；第二類和第三類分類時，樣本順序的選擇對結果有比較大的影響。LDAYtRyKfE2、分別設置先驗概率為0.8與0.2交替，重復上面的實驗：8/8正態(tài)分布的兩類X1與X2之間的分類樣本選取方式取三留一正序取三留一反序測試集即訓練集X1的分類正確率100%1
7、00%100%X2的分類正確率100%100%100%正態(tài)分布的兩類X1與X2之間的分類樣本選取方式取三留一正序取三留一反序測試集即訓練集X1的分類正確率100%100%100%X2的分類正確率100%100%100%正態(tài)分布的兩類X1與X3之間的分類樣本選取方式取三留一正序取三留一反序測試集即訓練集X1的分類正確率100%100%100%X3的分類正確率100%100%100%正態(tài)分布的兩類X1與X3之間的分類樣本選取方式取三留一正序取三留一反序測試集即訓練集X1的分類正確率100%100%100%X
