主成分分析方法綜述

《主成分分析方法綜述》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在工程資料-天天文庫。

1、主成分分析方法綜述1弓I言(Introduction)PCA(PrincipalComponentAnalysis),主成分分析，是一種數(shù)據(jù)分析的技術，主要思想是將高維數(shù)據(jù)投影到較低維空間，提取多元事物的主要因素，揭示其本質(zhì)特征。主成分分析的應用范圍非常廣泛，經(jīng)常和分類、聚類，以及與其他方法連用進行數(shù)據(jù)處理。它可以高效地找出數(shù)據(jù)中的主要部分，將原有的復雜數(shù)據(jù)降維，去除整個數(shù)據(jù)中的噪音和冗余。PCA是一種統(tǒng)計分析方法，它將原來眾多具有一定相關性的多個指標，重新組合成…組新的互相無關的綜合指標［1］。它是…種最小均方意義上的最優(yōu)變換，目的是去除輸入隨機向量之間的相關性，突出原始數(shù)據(jù)中的隱含特

2、性［2］。PCA方法的優(yōu)勢在于數(shù)據(jù)壓縮以及對多維數(shù)據(jù)進行降維，它操作簡單，且沒有參數(shù)限制，可以方便的應用于各個場合。它經(jīng)常被用于人臉識別和圖像壓縮、特征提取等領域，是在高維數(shù)據(jù)屮尋找模式的一種技術［3］。2主成分分析方法(Principalcomponentanalysis)2.1主成分分析方法的目標由于原始數(shù)據(jù)的變量基數(shù)比較復雜，難以描述其特征，主成分分析提出了一種簡單解決問題的思想，從事物的主要方面進行重點分析。該方法認為某個事物的特征集屮在幾個主要變量上，只需要將這幾個變量分離出來，對這幾個變量進行重點分析，用它們的線性組合表示事物的主要特征。因此，主成分分析方法的目標就是尋找x(

3、x

4、隨機向量。假設均值為零，即:令表示為維單位向量，在其上投影c這個投影被定義為向量和的內(nèi)積，表示為：?疋=wr?只在上式中，需滿足以下約束條件：

5、

6、vv

7、

8、=(w，w”=1主成分分析方法就是尋找一個權值向量，它能夠使表達式取最大值⑷。2.3特征值求解PCA特征根求解的步驟如下：(1)將原始數(shù)據(jù)表示為mF的矩陣。n為原始數(shù)據(jù)的個數(shù)，m為變量個數(shù)。(2)計算原始數(shù)據(jù)的均值。(3)用原始數(shù)據(jù)減去均值，得到矩陣X。(4)對XXT進行特征根分解，求特征向量及其對應的特征值。(5)選取最大的若干個特征值對應的特征向量，即為求得的主成分。PCA方法用線形代數(shù)可以描述為：尋找一組正交基組成的矩陣P,定義Y

9、=PX,使得CY=MYYT是對角陣。P的行向量，就是數(shù)據(jù)X的主成分，也就是XXT的特征向量，矩陣CY對角線上第i個元素是數(shù)據(jù)X在方向Pi的方差［4］。2.4主成分數(shù)量的選取主成分是n個原始變量的線性組合，各主成分Z間互不相關。每個主成分對應一個方差，該方差為協(xié)方差陣對應的特征值，各主成分特征值之和為1。將主成分按照其對應的方差值從大到小依次排列，則最大的方差對應第一主成分，以此類推。選擇主成分的數(shù)量取決于保留部分的累積方差在總方差中所占的百分比。由于所有主成分的總方差值是確定的，前面變量的方差較大，則后面的變量方差就較小。只有前幾個綜合變量才稱得上是主成分，后幾個綜合變量為次成分。一般情

10、況下，可根據(jù)問題的實際需要，主觀地確定一個百分比值，當前X項的方差之和大于此百分比值時，就可以決定保留前x個主成分,而忽略后面的次成分［5］。3主成分分析的特點(CharacteristicofPCA)綜上所述，主成分分析方法有很多優(yōu)點，可將其歸納如下：(1)在數(shù)據(jù)處理時，舍棄了一部分主成分，只取前幾個方差較大的幾個主成分來表示原始數(shù)據(jù)，可減少計算量。(2)主成分之間是互不相關的，消除了原始數(shù)據(jù)之間的相關影響。在選取評價指標時，消除了指標Z間的相關影響，因此更容易選擇指標。而且實踐證明指標之間相關程度越高，主成分分析效果越好。(3)在綜合評價函數(shù)中，主成分的權數(shù)為各個主成分的貢獻率，反映

11、了該主成分包含原始數(shù)據(jù)的信息量占全部信息量的比重，這樣確定地權數(shù)比較客觀、合理，克服了某些評價方法屮人為確定權數(shù)的缺陷。(4)主成分分析的計算方法比較規(guī)范，便于在計算機上實現(xiàn)。主成分分析方法的不足主要體現(xiàn)在兩個方面：(1)所得到的主成分實際含義模糊，沒有原始數(shù)據(jù)的含義確切、清楚。(2)主成分分析方法只考慮了數(shù)據(jù)的二階統(tǒng)計量(自相關)，這對于高斯分布是足夠的，但對于非高斯分布，由于高級統(tǒng)計量中含有附加的信息，因此PCA對其表示不夠充分