pca和KPCA的詳細(xì)介紹與分析(全網(wǎng)最全-最經(jīng)典).doc

《pca和KPCA的詳細(xì)介紹與分析(全網(wǎng)最全-最經(jīng)典).doc》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、第二章主成分分析1.主成分分析的基本原理統(tǒng)計(jì)學(xué)上PCA的定義為用幾個(gè)較少的綜合指標(biāo)來代替原來較多的指標(biāo)，而這些較少的綜合指標(biāo)既能盡多地反映原來較多指標(biāo)的有用信息，且相互之間又是無關(guān)的。作為一種建立在統(tǒng)計(jì)最優(yōu)原則基礎(chǔ)上的分析方法，主成分分析具有較長(zhǎng)的發(fā)展歷史。在1901年，Pearson首先將變換引入生物學(xué)領(lǐng)域，并重新對(duì)線性回歸進(jìn)行了分析，得出了變換的一種新形式。Hotelling于1933年則將其與心理測(cè)驗(yàn)學(xué)領(lǐng)域聯(lián)系起來，把離散變量轉(zhuǎn)變?yōu)闊o關(guān)聯(lián)系數(shù)。在概率論理論建立的同時(shí)，主成分分析又單獨(dú)出現(xiàn)，由Karhunen

2、于1947年提出，隨后Loeve于1963年將其歸納總結(jié)。因此，主成分分析也被稱為K-L變換[1]。PCA運(yùn)算就是一種確定一個(gè)坐標(biāo)系統(tǒng)的直交變換，在這個(gè)新的坐標(biāo)系統(tǒng)下，變換數(shù)據(jù)點(diǎn)的方差沿新的坐標(biāo)軸得到了最大化。這些坐標(biāo)軸經(jīng)常被稱為是主成分。PCA運(yùn)算是一個(gè)利用了數(shù)據(jù)集的統(tǒng)計(jì)性質(zhì)的特征空間變換，這種變換在無損或很少損失了數(shù)據(jù)集的信息的情況下降低了數(shù)據(jù)集的維數(shù)。PCA的基本原理如下：給定輸入數(shù)據(jù)矩陣(通常)，它由一些中心化的樣本數(shù)據(jù)構(gòu)成，其中且(2-1)PCA通過式(2-2)將輸入數(shù)據(jù)矢量變換為新的矢量(2-2)其中

3、：U是一個(gè)正交矩陣，它的第列是樣本協(xié)方差矩陣(2-3)的第個(gè)本征矢量。換句話說，PCA首先求解如下的本征問題(2-4)其中是的一個(gè)本征值，是相應(yīng)的本征矢量。當(dāng)僅利用前面的個(gè)本征矢量時(shí)(對(duì)應(yīng)本征值按降序排列)，得矩陣。新的分量稱為主分量[2]。最大特征值對(duì)應(yīng)的最大特征向量就是第一個(gè)主成分,這個(gè)特征向量就是數(shù)據(jù)有最大方差分布的方向。第二主成分也就是第二大特征值對(duì)應(yīng)的特征向量，數(shù)據(jù)點(diǎn)沿著這個(gè)方向方差有第二大變化，且這個(gè)特征向量與第一個(gè)是正交的。實(shí)際過程中原始數(shù)據(jù)如果沒有經(jīng)過中心化，即式(2-1)不成立，則也可以對(duì)數(shù)據(jù)進(jìn)

4、行標(biāo)準(zhǔn)化處理。即對(duì)每一個(gè)指標(biāo)分量作標(biāo)準(zhǔn)化處理(2-5)其中樣本均值：(2-6)樣本標(biāo)準(zhǔn)差：(2-7)得到，接下來進(jìn)行以上運(yùn)算，這就是標(biāo)準(zhǔn)的PCA，這種標(biāo)準(zhǔn)化方法有效的減少了數(shù)據(jù)量綱對(duì)數(shù)據(jù)提取的影響[3]。2.主成分分析的實(shí)現(xiàn)步驟基于上述主成分分析的基本原理，可以得出主成分分析的計(jì)算步驟如下所示：1、將所獲得的個(gè)指標(biāo)(每一指標(biāo)有個(gè)樣品）的一批數(shù)據(jù)寫成一個(gè)()維數(shù)據(jù)矩陣．2、對(duì)矩陣A作標(biāo)準(zhǔn)化處理：即對(duì)每一個(gè)指標(biāo)分量進(jìn)行標(biāo)準(zhǔn)化處理，利用公式(2-5)，從而得到。3、由式(2-8)計(jì)算樣本矩陣的相關(guān)系數(shù)矩陣(2-8)4、

5、運(yùn)用Jacobi迭代方法計(jì)算R的特征值，即對(duì)應(yīng)的特征向量。5、特征值按降序排序(通過選擇排序)得并對(duì)特征向量進(jìn)行相應(yīng)調(diào)整得。6、通過施密特正交化方法單位正交化特征向量，得到。7、計(jì)算特征值的累積貢獻(xiàn)率，根據(jù)給定的提取效率，如果,則提取個(gè)主成分。8、計(jì)算已標(biāo)準(zhǔn)化的樣本數(shù)據(jù)X在提取出的特征向量上的投影，其中。所得的Y即為進(jìn)行特征提取后的數(shù)據(jù)也就是數(shù)據(jù)降維后的數(shù)據(jù)。第三章基于核的主成分分析1.核方法作為一種由線性到非線性之間的橋梁，核方法的相關(guān)研究起源于20世紀(jì)初葉，其在模式識(shí)別中的應(yīng)用至少可以追溯到1964年，然而直

6、到最近幾年，核方法的研究開始得到廣泛的重視，從而相繼提出了各種基于核方法的理論和方法。核方法是一系列先進(jìn)性數(shù)據(jù)處理技術(shù)的總稱，其共同特點(diǎn)是這些數(shù)據(jù)處理方法都應(yīng)用了核映射。核函數(shù)方法的基本原理是通過非線性函數(shù)把輸入空間映射到高維空間，在特征空間中進(jìn)行數(shù)據(jù)處理，其關(guān)鍵在于通過引入核函數(shù)，把非線性變換后的特征空間內(nèi)積運(yùn)算轉(zhuǎn)換為原始空間的核函數(shù)計(jì)算，從而大大簡(jiǎn)化了計(jì)算量[4]。從具體操作過程上看，核方法首先采用非線性映射將原始數(shù)據(jù)由數(shù)據(jù)空間映射到特征空間，進(jìn)而在特征空間進(jìn)行對(duì)應(yīng)的線性操作，如圖3-1所示：由于采用了非線性

7、映射，且這種非線性映射往往是比較復(fù)雜的，從而大大增強(qiáng)了非線性數(shù)據(jù)的處理能力。從本質(zhì)上講，核方法實(shí)現(xiàn)了數(shù)據(jù)空間、特征空間、和類別空間之間的非線性變換。設(shè)和為數(shù)據(jù)空間中的樣本點(diǎn)，數(shù)據(jù)空間到特征空間的映射函數(shù)為，核函數(shù)的基礎(chǔ)是實(shí)現(xiàn)向量的內(nèi)積變換(3-1)通常，非線性變換函數(shù)相當(dāng)復(fù)雜，而運(yùn)算過程中實(shí)際用到的核函數(shù)則相對(duì)簡(jiǎn)單的多，這正是核方法迷人的地方。核方法由特征空間回到數(shù)據(jù)空間非線性映射數(shù)據(jù)空間特征空間由數(shù)據(jù)空間回到特征空間非線性操作SVMSVRKPCAKFD線性操作：分類回歸PCAFD圖3-1核方法框架示意圖對(duì)于核函

8、數(shù)必須滿足Mercer條件：對(duì)于任意給定的對(duì)稱函數(shù)，它是某個(gè)特征空間中的內(nèi)積運(yùn)算的充要條件是對(duì)于任意的不恒為0的函數(shù)滿足，有(3-2)式(3-2)給出了函數(shù)成為核函數(shù)的充要條件。考慮到核方法的基礎(chǔ)是實(shí)現(xiàn)了一種由輸入空間到特征空間的非線性映射，假設(shè)輸入空間數(shù)據(jù)為，對(duì)任意對(duì)稱、連續(xù)且滿足Mercer條件的函數(shù)，存在一個(gè)Hilbert空間,對(duì)映射有(3-3)式中是空間的維數(shù)。常