分類學(xué)習(xí)筆記

《分類學(xué)習(xí)筆記》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、主成分分析Fisher線性分類器支持向量機(jī)基于支持向量機(jī)的目標(biāo)跟蹤主要內(nèi)容PCA(principalcomponentanalysis)主成分分析關(guān)于PCA的基本問(wèn)題PCA數(shù)學(xué)模型主成分的解出PCA的計(jì)算步驟實(shí)例一、關(guān)于PCA的基本問(wèn)題1、什么是PCA？PCA，即主成分分析是在保證數(shù)據(jù)信息丟失最少原則下，對(duì)高維數(shù)據(jù)進(jìn)行降維處理的方法。2、為什么要進(jìn)行降維？a、“維數(shù)災(zāi)難”問(wèn)題，計(jì)算量巨大b、維數(shù)大，處理結(jié)果不理想3、數(shù)據(jù)降維的目的？a、數(shù)據(jù)壓縮，減少存儲(chǔ)量b、提取特征以便進(jìn)行分類c、去除噪聲的影響4、PCA算法

2、基本思想？待處理的變量之間往往具有相關(guān)性，其基本思想是設(shè)法將原來(lái)眾多的具有一定相關(guān)性的指標(biāo)，重新組合成一組較少個(gè)數(shù)的互不相關(guān)的綜合指標(biāo)來(lái)取代原來(lái)的指標(biāo)。5、PCA的優(yōu)點(diǎn)和缺點(diǎn)？?jī)?yōu)點(diǎn)：a、消除了各變量之間的相關(guān)影響，減少了計(jì)算的工作量b、主成分包含了主要的信息量，特征明顯c、此法的計(jì)算比較規(guī)范，便于在計(jì)算機(jī)上實(shí)現(xiàn)，還可以利用專門的軟件缺點(diǎn)：a、應(yīng)保證所提取的前幾個(gè)主成分的累計(jì)貢獻(xiàn)率較高b、因?yàn)闇p少了數(shù)據(jù)量，所以降維后的變量不如原始變量描述的那么確切二、主成分分析數(shù)學(xué)模型目的：在空間中找到一個(gè)主方向u1，u1包含了

3、數(shù)據(jù)的大部分信息，我們將空間中的樣本點(diǎn)投影到該向量中去，使xi投影后分散的最開(kāi)。投影表示：這里要求u1為單位向量為什么呢？解釋u1為單位向量：投影到由于有一個(gè)平方，計(jì)算起來(lái)比較麻煩，所以我們?nèi)〖磚是一個(gè)單位向量表示：評(píng)價(jià)投影后分散程度的指標(biāo)：方差方差表示：X投影到u1上，要求方差最大，可以寫為：表示n個(gè)樣本為X={x1,x2,…xn}的均值：其中進(jìn)一步推導(dǎo)：其中這里的S即為樣本X的協(xié)方差矩陣。至此，要求投影后樣本分散的最開(kāi)的評(píng)價(jià)轉(zhuǎn)化為表達(dá)式：下面就是求出滿足此等式的u1三、主成分求解求解方法：利用拉格朗日方程求

4、解過(guò)程：因?yàn)榱谐隼窭嗜辗匠趟?、求解主成分的步驟1、計(jì)算協(xié)方差矩陣和其特征根2、計(jì)算協(xié)方差矩陣特征根對(duì)應(yīng)的特征向量3、計(jì)算累積貢獻(xiàn)率，給出恰當(dāng)?shù)闹鞒煞謧€(gè)數(shù)。4、計(jì)算所選出的k個(gè)主成分的得分。將原始數(shù)據(jù)的中心化值:代入前k個(gè)主成分的表達(dá)式，分別計(jì)算出各樣本k個(gè)主成分的得分。5、取這k個(gè)特征值對(duì)應(yīng)的特征向量，得到主元。應(yīng)用舉例：PCA在圖像壓縮的應(yīng)用基本思路：(1)將圖像分塊，每個(gè)塊代表一個(gè)樣本(2)求塊之間的協(xié)方差矩陣(3)求的協(xié)方差矩陣的特征值和特征向量(4)取最大的M個(gè)特征值對(duì)應(yīng)的特征向量作為主元，將圖像塊投

5、影到M個(gè)單位特征向量上(M的值小于塊數(shù))Fisher線性分類器關(guān)于Fisher的基本問(wèn)題線性分類器的數(shù)學(xué)表達(dá)式推導(dǎo)過(guò)程計(jì)算步驟一、關(guān)于Fisher的基本問(wèn)題1、什么是Fisher？fisher(FisherLinearDiscriminant)線性分類器，顧名思義，就是對(duì)數(shù)據(jù)進(jìn)行線性分類，把不同類別的數(shù)據(jù)區(qū)分開(kāi)。比如在智能交通中進(jìn)行人車分類。2、fisher基本思想？如圖所示，fisher基本思想是將n類據(jù)集盡可能地投影到一個(gè)方向（一條直線），使得類與類之間盡可能地分開(kāi)。投影原則：數(shù)據(jù)的類間距離最大，類內(nèi)距離最

6、小。3、我們要做什么？找到直線的方向，使樣本投影到該直線上能最容易分開(kāi)。如何找到最好的直線方向，如何實(shí)現(xiàn)向最好方向投影的變換，是Fisher要解決的基本問(wèn)題。這個(gè)投影變換就是我們尋求的解向量。二、fisher算法的數(shù)學(xué)表達(dá)式直接給出Fisher準(zhǔn)則函數(shù)的數(shù)學(xué)表達(dá)式：其中：是原d維特征空間里的樣本類內(nèi)離散度矩陣，表示兩類均越大越容易區(qū)分。值向量之間的離散度大小，因此，而稱為原d維維特征空間里，樣本“類內(nèi)離散度”矩陣，所以是樣本的“類內(nèi)總離散度”矩陣。為了便于分類，越小越好，也就是越小越好。并且和皆可由樣本集X計(jì)算

7、得出。使JF最大的就是最佳解向量，也就是Fisher的線性判別式。顯然，我們希望在投影之后，兩類之間的距離越大越好，而各類的樣本類內(nèi)離散度越小越好。即JF越大越好。用拉格朗日方程求解的極大值令分母等于非零常數(shù)，也就是：定義拉格朗日方程：L對(duì)w求偏導(dǎo)數(shù)：令得到：經(jīng)過(guò)轉(zhuǎn)換，得到的最終表達(dá)式：使取得最大值，可使樣本由d維空間向一維空間是一個(gè)Fisher線性判斷式。映射，其投影方向最好。三、求解步驟效果演示人臉識(shí)別分類支持向量機(jī)支持向量機(jī)簡(jiǎn)介基本原理優(yōu)缺點(diǎn)應(yīng)用前景基于支持向量機(jī)的目標(biāo)跟蹤支持向量機(jī)支持向量機(jī)SVM(Su

8、pportVectorMachine)是統(tǒng)計(jì)機(jī)器學(xué)習(xí)的一類重要算法,它是根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，以結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則為理論基礎(chǔ)的一種新的機(jī)器學(xué)習(xí)方法，能有效地解決高維數(shù)和非線性等問(wèn)題，有效地進(jìn)行分類、回歸等。線性可分：如果一個(gè)線性函數(shù)能夠?qū)颖就耆_分開(kāi)，就稱這些數(shù)據(jù)是線性可分的，否則成為非線性可分。線性函數(shù)：在一維空間是一個(gè)點(diǎn)；二維空間是一條直線；三維空間是一個(gè)平面，若不關(guān)注維數(shù)，這種線