貝葉斯算法講課資料.pptx

《貝葉斯算法講課資料.pptx》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、貝葉斯分類貝葉斯定理樸素貝葉斯分類基本概念具體實(shí)例問題與解決方案貝葉斯信念網(wǎng)絡(luò)基本概念具體實(shí)例訓(xùn)練貝葉斯信念網(wǎng)絡(luò)小結(jié)貝葉斯定理P(H

2、X)=P(X

3、H)*P(H)/P(X)∵P(H∩X)=P(H)*P(X

4、H)=P(X)*P(H

5、X)即P(H)*P(X

6、H)=P(X)*P(H

7、X)∴P(H

8、X)=P(X

9、H)*P(H)/P(X)樸素貝葉斯分類樸素貝葉斯分類的工作過程如下：(1)每個(gè)數(shù)據(jù)樣本用一個(gè)n維特征向量X={x1，x2，……，xn}表示，分別描述對(duì)n個(gè)屬性A1，A2，……，An樣本的n個(gè)度量。樸素貝葉斯分類(2)假定有m個(gè)類C1

10、，C2，…，Cm，給定一個(gè)未知的數(shù)據(jù)樣本X（即沒有類標(biāo)號(hào)），分類器將預(yù)測(cè)X屬于具有最高后驗(yàn)概率（條件X下）的類。也就是說，樸素貝葉斯分類將未知的樣本分配給類Ci（1≤i≤m）當(dāng)且僅當(dāng)P(Ci

11、X)>P(Cj

12、X)，對(duì)任意的j=1，2，…，m，j≠i。這樣，最大化P(Ci

13、X)。其P(Ci

14、X)最大的類Ci稱為最大后驗(yàn)假定。根據(jù)貝葉斯定理：樸素貝葉斯分類(3)由于P(X)對(duì)于所有類為常數(shù)，只需要P(X

15、Ci)*P(Ci)最大即可。如果Ci類的先驗(yàn)概率未知，則通常假定這些類是等概率的，即P(C1)=P(C2)=…=P(Cm)，因此問題就

16、轉(zhuǎn)換為對(duì)P(X

17、Ci)的最大化（P(X

18、Ci)常被稱為給定Ci時(shí)數(shù)據(jù)X的似然度，而使P(X

19、Ci)最大的假設(shè)Ci稱為最大似然假設(shè)）。否則，需要最大化P(X

20、Ci)*P(Ci)。注意，類的先驗(yàn)概率根據(jù)樣本的類別區(qū)分計(jì)算。8樸素貝葉斯分類樸素貝葉斯分類(4)給定具有許多屬性的數(shù)據(jù)集，計(jì)算P(X

21、Ci)的開銷可能非常大。為降低計(jì)算P(X

22、Ci)的開銷，可以做類條件獨(dú)立的樸素假定。給定樣本的類標(biāo)號(hào)，假定屬性值相互條件獨(dú)立，即在屬性間，不存在依賴關(guān)系。這樣聯(lián)合概率分布樸素貝葉斯分類(5)對(duì)未知樣本X分類，也就是對(duì)每個(gè)類Ci，計(jì)算P(X

23、Ci)

24、*P(Ci)。樣本X被指派到類Ci，當(dāng)且僅當(dāng)P(Ci

25、X)>P(Cj

26、X)，1≤j≤m，j≠i，換言之，X被指派到其P(X

27、Ci)*P(Ci)最大的類。樸素貝葉斯分類Q&A問題：零概率影響——樸素貝葉斯分類是基于類條件獨(dú)立假設(shè)，通過各元組與類別的條件概率的累乘得到所求條件概率，故當(dāng)出現(xiàn)某項(xiàng)元組不存在，從而導(dǎo)致該項(xiàng)概率為零，從而消除其他項(xiàng)累乘所造成的影響。解決：拉普拉斯校準(zhǔn)/拉普拉斯估計(jì)法——對(duì)各項(xiàng)元組計(jì)數(shù)加1，從而避免某項(xiàng)元組計(jì)數(shù)為零的情況出現(xiàn)，從而消除零概率影響。樸素貝葉斯分類Q&A問題：類條件獨(dú)立性假設(shè)——樸素貝葉斯分類基于類條

28、件獨(dú)立性假設(shè)的基礎(chǔ)上才成立，而大多數(shù)情況下類條件獨(dú)立性假設(shè)不成立，從而導(dǎo)致誤差較大，無法使用樸素貝葉斯分類。解決：貝葉斯信念網(wǎng)絡(luò)貝葉斯信念網(wǎng)絡(luò)貝葉斯信念網(wǎng)絡(luò)，也叫信念網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)和概率網(wǎng)絡(luò)概念的圖模型允許表示屬性子集之間的依賴關(guān)系說明聯(lián)合條件概率分布；它允許在變量的子集間定義類條件獨(dú)立性；它提供一種因果關(guān)系的圖形模型，可以在其上進(jìn)行學(xué)習(xí)。貝葉斯信念網(wǎng)絡(luò)信念網(wǎng)絡(luò)由兩個(gè)成分定義——有向無環(huán)圖和條件概率表的集合有向無環(huán)圖（DAG）：每個(gè)節(jié)點(diǎn)代表一個(gè)隨機(jī)變量，變量可以是離散值或連續(xù)值，它們可能對(duì)應(yīng)于給定數(shù)據(jù)中的實(shí)際屬性，或?qū)?yīng)于相信形成

29、聯(lián)系的“隱藏屬性”；每條弧表示一個(gè)概率依賴，若一條弧由節(jié)點(diǎn)Y到Z，則Y是Z的雙親或直接前驅(qū)，而Z是Y的后代（給定其雙親，每個(gè)變量條件獨(dú)立于圖中它的非后代）。貝葉斯信念網(wǎng)絡(luò)有向無環(huán)圖：DAG中每一個(gè)節(jié)點(diǎn)表示一個(gè)隨機(jī)變量，可以是可直接觀測(cè)變量或隱藏變量，而有向邊表示隨機(jī)變量間的條件依賴。條件概率表：條件概率表中的每一個(gè)元素對(duì)應(yīng)DAG中唯一的節(jié)點(diǎn)，存儲(chǔ)此節(jié)點(diǎn)對(duì)于其所有直接前驅(qū)節(jié)點(diǎn)的聯(lián)合條件概率。備注：貝葉斯網(wǎng)絡(luò)性質(zhì)——每一個(gè)節(jié)點(diǎn)在其直接前驅(qū)節(jié)點(diǎn)的值制定后，這個(gè)節(jié)點(diǎn)條件獨(dú)立于其所有非直接前驅(qū)前輩節(jié)點(diǎn)貝葉斯信念網(wǎng)絡(luò)網(wǎng)絡(luò)內(nèi)的節(jié)點(diǎn)可以選作“輸出”

30、節(jié)點(diǎn)，代表類標(biāo)號(hào)屬性。分類過程不是返回單個(gè)類標(biāo)號(hào)，而是可以返回概率分布，給出每個(gè)類的概率。信念網(wǎng)絡(luò)可以用來回答實(shí)證式查詢的概率和最可能的查詢解釋。貝葉斯信念網(wǎng)絡(luò)貝葉斯信念網(wǎng)絡(luò)實(shí)例：貝葉斯信念網(wǎng)絡(luò)貝葉斯信念網(wǎng)絡(luò)實(shí)例：CPT表內(nèi)各項(xiàng)含義舉例：P(LungCancer=yes

31、FamilyHistory=yes，Smoker=yes)=0.8P(LungCancer=no

32、FamilyHistory=no，Smoker=no)=0.9貝葉斯信念網(wǎng)絡(luò)貝葉斯信念網(wǎng)絡(luò)實(shí)例：設(shè)X=（x1，…，xn）是被變量或?qū)傩訷1，…，Yn描述的數(shù)據(jù)元組。注意

33、，給定變量的雙親，每個(gè)變量都條件地獨(dú)立于網(wǎng)絡(luò)圖中它的非后代。該網(wǎng)絡(luò)的聯(lián)合概率分布的完全表示：其中，P（x1，…，xn）是X的值的特定組合的概率，P(xi

34、Parents（Yi）)的值對(duì)應(yīng)于Yi的CPT的表目。訓(xùn)練貝葉斯信念網(wǎng)絡(luò)網(wǎng)絡(luò)拓?fù)?/p>