主成分分析方法.ppt

《主成分分析方法.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、主成分分析方法問(wèn)題的提出地理環(huán)境是多要素的復(fù)雜系統(tǒng)，在進(jìn)行分析時(shí)多變量問(wèn)題是經(jīng)常會(huì)遇到的。變量太多，會(huì)增加分析問(wèn)題的難度與復(fù)雜性，而且在實(shí)際問(wèn)題中，多個(gè)變量之間往往具有一定的相關(guān)關(guān)系。因此，能否在各個(gè)變量之間相關(guān)關(guān)系研究基礎(chǔ)上，用較少的新變量代替原來(lái)較多的變量，而且使這些較少的新變量盡可能多地保留原來(lái)較多的變量所反映的信息？主成分分析上述想法是可以實(shí)現(xiàn)的。主成分分析方法就是綜合處理這種問(wèn)題的一種強(qiáng)有力的方法。主成分分析的基本原理主成分分析是把原來(lái)多個(gè)變量化為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法，從數(shù)學(xué)角度來(lái)看

2、，這是一種降維處理技術(shù)。主成分分析的基本原理假定有n個(gè)地理樣本，每個(gè)樣本共有p個(gè)變量描述，這樣就構(gòu)成了一個(gè)n×p階的地理數(shù)據(jù)矩陣：主成分分析的基本原理當(dāng)p比較大時(shí)，如何從這么多變量的數(shù)據(jù)中抓住地理事物的內(nèi)在規(guī)律性？要解決這一問(wèn)題，自然要在p維空間中加以考察，這是比較困難的。主成分分析的基本原理為了克服上述困難，就需要進(jìn)行降維處理，即用較少的幾個(gè)綜合指標(biāo)來(lái)代替原來(lái)較多的變量指標(biāo)，而且使這些較少的綜合指標(biāo)既能盡量多地反映原來(lái)較多指標(biāo)所反映的信息，同時(shí)它們之間又是彼此獨(dú)立的。主成分分析的基本原理這些綜合指標(biāo)（即新

3、變量）應(yīng)如何選??？最簡(jiǎn)單的形式就是取原來(lái)變量指標(biāo)的線性組合，適當(dāng)調(diào)整組合系數(shù)，使新的變量指標(biāo)之間相互獨(dú)立且代表性最好。主成分分析的基本原理如果記原來(lái)的變量指標(biāo)為x1，x2，…，xp，它們的綜合指標(biāo)——新變量指標(biāo)為z1，z2，…，zm(m≤p)。則主成分分析的基本原理在上式中，系數(shù)lij由下列原則來(lái)決定：(1)zi與zj（i≠j；i，j=1，2，…，m)相互無(wú)關(guān)；(2)z1是x1，x2，…，xp的一切線性組合中方差最大者；z2是與z1不相關(guān)的x1，x2，…，xp的所有線性組合中方差最大者；……；zm是與z1，

4、z2，……，zm-1都不相關(guān)的x1，x2，…，xp的所有線性組合中方差最大者。主成分分析的基本原理這樣決定的新變量指標(biāo)z1，z2，…，zm分別稱(chēng)為原變量指標(biāo)x1，x2，…，xp的第一，第二，…，第m主成分。主成分分析的基本原理其中，z1在總方差中占的比例最大，z2，z3，…，zm的方差依次遞減。在實(shí)際問(wèn)題的分析中，常挑選前幾個(gè)最大的主成分，這樣既減少了變量的數(shù)目，又抓住了主要矛盾，簡(jiǎn)化了變量之間的關(guān)系。主成分分析的基本原理從以上分析可以看出，找主成分就是確定原來(lái)變量xj(j=1，2，…，p)在各主成分zi(

5、i=1，2，…，m)上的載荷lij(i=1，2，…，m；j=1，2，…，p)，從數(shù)學(xué)上容易知道，它們分別是x1,x2,…,xp的相關(guān)矩陣的m個(gè)較大的特征值所對(duì)應(yīng)的特征向量。主成分分析的計(jì)算步驟(1)計(jì)算相關(guān)系數(shù)矩陣(2)計(jì)算特征值與特征向量(3)計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率(4)計(jì)算主成分載荷(1)計(jì)算相關(guān)系數(shù)矩陣式中，rij（i，j=1，2，…，p）為原來(lái)變量xi與xj的相關(guān)系數(shù)(1)計(jì)算相關(guān)系數(shù)矩陣相關(guān)系數(shù)rij的計(jì)算公式為:(1)計(jì)算相關(guān)系數(shù)矩陣因?yàn)橄嚓P(guān)系數(shù)矩陣R是實(shí)對(duì)稱(chēng)矩陣（即rij=rji），所以

6、只需計(jì)算上三角元素或下三角元素即可。(2)計(jì)算特征值與特征向量首先解特征方程

7、λI–R

8、=0求出特征值λi（i=1，2，…，p)，并使其按大小順序排列，即λ1≥λ2≥…，≥λp≥0；(2)計(jì)算特征值與特征向量然后分別求出對(duì)應(yīng)于特征值λi的特征向量ei(i=1,2,…,p)。(2)計(jì)算特征值與特征向量數(shù)值計(jì)算方法實(shí)對(duì)稱(chēng)矩陣特征值與特征向量的雅可比法雅可比法的算法原理雅可比（Jacobi）方法求實(shí)對(duì)稱(chēng)矩陣特征值與特征向量的基本思路如下：設(shè)n階矩陣A為對(duì)稱(chēng)矩陣，在其非對(duì)角線元素中選取一個(gè)絕對(duì)值最大的元素，設(shè)為ap

9、q，利用平面旋轉(zhuǎn)變換矩陣R0(p,q,θ)對(duì)A進(jìn)行正交相似變換：A1=AR0(p,q,θ)其中，R0(p,q,θ)的元素為：雅可比法的算法原理rpp＝cosθ，rqq＝cosθ，rpq＝-sinθ,rqp＝sinθ,rij＝0，i，j≠p,q雅可比法的算法原理如果按下式確定角度θ:則對(duì)稱(chēng)矩陣A經(jīng)上述變換后，其非對(duì)角線元素的平方和將減少2a2pq，對(duì)角線元素的平方和將增加2a2pq，而矩陣中所有元素的平方和保持不變。雅可比法的算法原理由此可知，對(duì)稱(chēng)矩陣A每經(jīng)過(guò)一次這樣的正交相似變換，其非對(duì)角線元素的平方和將向

10、0趨近一步。因此，只要反復(fù)進(jìn)行上述正交變換，就可以將對(duì)稱(chēng)矩陣A變換為對(duì)角矩陣。對(duì)角矩陣中對(duì)角線上的元素即是矩陣的特征值，而每一步中的平面旋轉(zhuǎn)矩陣的乘積的一列即為對(duì)應(yīng)的特征向量。(3)計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率主成分zi貢獻(xiàn)率為：累計(jì)貢獻(xiàn)率為：(3)計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率一般取累計(jì)貢獻(xiàn)率達(dá)85-95％的特征值λ1，λ2，…，λm所對(duì)應(yīng)的第一，第二，……，第m（m≤p）個(gè)主成分。(4)計(jì)算主成分載荷主成分