模式識別——貝葉斯決策理論.pptx

《模式識別——貝葉斯決策理論.pptx》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在PPT專區(qū)-天天文庫。

模式識別——貝葉斯決策理論 一最簡單的貝葉斯分類算法還使用前面的例子：鱸魚(seabass)和鮭魚(salmon)。 使用一個特征亮度對這兩種魚進行表示。新來了一條魚特征是x(亮度)，怎么根據(jù)特征x確定它到底是鱸魚ω1還是鮭魚ω2？已知數(shù)據(jù)：鱸魚類標(biāo)號ω1，鮭魚類標(biāo)號ω2。鱸魚總數(shù)量占所有魚總數(shù)量的比率為P(ω1)，鮭魚總數(shù)量占所有魚總數(shù)量的比率為P(ω2)。由鱸魚的分布得知這條魚的亮度x在分類為鱸魚時出現(xiàn)的概率為p(x|ω1),由鮭魚的分布得知這條魚的亮度x在分類為鮭魚時出現(xiàn)的概率為p(x|ω2)。 如何求解？可以求出x屬于鱸魚ω1的概率P(ω1|x)和x屬于鮭魚ω2的概率P(ω2|x)。如果P(ω1|x)>P(ω2|x)，就認(rèn)為x是鱸魚?，F(xiàn)在的問題是如何求P(ω1|x)和P(ω2|x)。 有一個概率公式：從而推出：換一種寫法： 這就是著名的貝葉斯公式。其中P(ωj)叫做先驗概率，就是類別出現(xiàn)的可能性；p(x|ωj)叫條件概率，就是在ωj時x出現(xiàn)的可能性；p(ωj|x)叫后驗概率；p(x)是該樣例出現(xiàn)的可能性。因此：對于上面的問題： 如果p(ω1|x)>p(ω2|x)，那么就認(rèn)為x屬于ω1，即這條魚是鱸魚。同理于：這幾個基本數(shù)據(jù)都已經(jīng)給出了，因此可以計算出不等式的結(jié)果。如果p(ω1|x)gj(x)，那么認(rèn)為x屬于第i個類別ωi。比如令gi(x)=-R(αi|x)。上面是一個不等式關(guān)系，如果不等式兩邊都乘以相同的正數(shù)，或加上相同的樹，或取自然對數(shù)。那么不等式的關(guān)系是不變的。因此不考慮損失時的貝葉斯判別函數(shù)：可以寫成： 四正態(tài)分布貝葉斯公式中的p(x|ωj)是條件概率，代表在類別為ωj時，x的概率。比如在ωj為鱸魚時，一個特定亮度x的概率。條件概率分布中常見的一個分布是高斯分布(正態(tài)分布)。正態(tài)分布是最重要的一種概率分布。正態(tài)分布概念是由德國的數(shù)學(xué)家和天文學(xué)家Moivre于1733年首次提出的，但由于德國數(shù)學(xué)家Gauss(CarlFriedrichGauss，1777—1855)率先將其應(yīng)用于天文學(xué)家研究，故正態(tài)分布又叫高斯分布。 高斯分布的形狀是鐘形曲線。 很多隨機變量的概率分布都可以近似地用正態(tài)分布來描述。例如：同一種生物體的身長、體重等指標(biāo)；百度高個吧投票的身高分布： 在生產(chǎn)條件不變的情況下，產(chǎn)品的強力、抗壓強度、口徑、長度等指標(biāo)；同一種種子的重量；測量同一物體的誤差；某個地區(qū)的年降水量；學(xué)生的智力水平，包括學(xué)習(xí)能力，實際動手能力等呈正態(tài)分布。 單變量正態(tài)分布的概率密度函數(shù)：其中μ是均值，σ是標(biāo)準(zhǔn)差。均值就是所有數(shù)的平均數(shù)，就是把所有數(shù)都加起來再除以個數(shù)σ2方差就是把每個數(shù)減去它們的平均數(shù)再平方，把這些平方加起來再除以個數(shù)。方差表示統(tǒng)計數(shù)據(jù)的離散程度。經(jīng)常可以把上面的公式簡寫成：p(x)~N(μ,σ2)。 多變量正態(tài)分布的概率密度函數(shù)：其中μ是d維平均向量。Σ是d*d的協(xié)方差矩陣。|Σ|是它的行列式，Σ-1是它的轉(zhuǎn)置。經(jīng)?？梢园焉厦娴墓胶唽懗桑簆(x)~N(μ,Σ)。 五正態(tài)分布下的判別函數(shù) 將多變量正態(tài)分布公式帶入下面的判別函數(shù)：得到：將單變量正態(tài)分布公式帶入下面的判別函數(shù)：得到： 1.Σi=σ2I當(dāng)所有變量都相互獨立，且每個變量的方差都是σ2的時候，所有的協(xié)方差矩陣都相等：Σi=σ2I。此時，判別函數(shù)簡化成了：此時判別函數(shù)就變成了一個線性判別函數(shù)。 當(dāng)p(ωi)與p(ωj)相等的時候，一二三維高斯分布： 如下求分割線x的位置： 當(dāng)p(ωi)與p(ωj)不相等的時候，一二三維高斯分布： 2.Σi=Σ當(dāng)所有類別的協(xié)方差矩陣Σi都相等的時候，說明所有類別的正態(tài)分布具有同樣的形狀。此時，判別函數(shù)又可以簡化成一個線性判別函數(shù)器。 3.Σi不固定此時基本就沒有什么可化簡的了。