資源描述:
《主成分分析方法.ppt》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、主成分分析方法問題的提出地理環(huán)境是多要素的復(fù)雜系統(tǒng),在進(jìn)行分析時多變量問題是經(jīng)常會遇到的。變量太多,會增加分析問題的難度與復(fù)雜性,而且在實際問題中,多個變量之間往往具有一定的相關(guān)關(guān)系。因此,能否在各個變量之間相關(guān)關(guān)系研究基礎(chǔ)上,用較少的新變量代替原來較多的變量,而且使這些較少的新變量盡可能多地保留原來較多的變量所反映的信息?主成分分析上述想法是可以實現(xiàn)的。主成分分析方法就是綜合處理這種問題的一種強(qiáng)有力的方法。主成分分析的基本原理主成分分析是把原來多個變量化為少數(shù)幾個綜合指標(biāo)的一種統(tǒng)計分析方法,從數(shù)學(xué)角度來看
2、,這是一種降維處理技術(shù)。主成分分析的基本原理假定有n個地理樣本,每個樣本共有p個變量描述,這樣就構(gòu)成了一個n×p階的地理數(shù)據(jù)矩陣:主成分分析的基本原理當(dāng)p比較大時,如何從這么多變量的數(shù)據(jù)中抓住地理事物的內(nèi)在規(guī)律性?要解決這一問題,自然要在p維空間中加以考察,這是比較困難的。主成分分析的基本原理為了克服上述困難,就需要進(jìn)行降維處理,即用較少的幾個綜合指標(biāo)來代替原來較多的變量指標(biāo),而且使這些較少的綜合指標(biāo)既能盡量多地反映原來較多指標(biāo)所反映的信息,同時它們之間又是彼此獨立的。主成分分析的基本原理這些綜合指標(biāo)(即新
3、變量)應(yīng)如何選???最簡單的形式就是取原來變量指標(biāo)的線性組合,適當(dāng)調(diào)整組合系數(shù),使新的變量指標(biāo)之間相互獨立且代表性最好。主成分分析的基本原理如果記原來的變量指標(biāo)為x1,x2,…,xp,它們的綜合指標(biāo)——新變量指標(biāo)為z1,z2,…,zm(m≤p)。則主成分分析的基本原理在上式中,系數(shù)lij由下列原則來決定:(1)zi與zj(i≠j;i,j=1,2,…,m)相互無關(guān);(2)z1是x1,x2,…,xp的一切線性組合中方差最大者;z2是與z1不相關(guān)的x1,x2,…,xp的所有線性組合中方差最大者;……;zm是與z1,
4、z2,……,zm-1都不相關(guān)的x1,x2,…,xp的所有線性組合中方差最大者。主成分分析的基本原理這樣決定的新變量指標(biāo)z1,z2,…,zm分別稱為原變量指標(biāo)x1,x2,…,xp的第一,第二,…,第m主成分。主成分分析的基本原理其中,z1在總方差中占的比例最大,z2,z3,…,zm的方差依次遞減。在實際問題的分析中,常挑選前幾個最大的主成分,這樣既減少了變量的數(shù)目,又抓住了主要矛盾,簡化了變量之間的關(guān)系。主成分分析的基本原理從以上分析可以看出,找主成分就是確定原來變量xj(j=1,2,…,p)在各主成分zi(
5、i=1,2,…,m)上的載荷lij(i=1,2,…,m;j=1,2,…,p),從數(shù)學(xué)上容易知道,它們分別是x1,x2,…,xp的相關(guān)矩陣的m個較大的特征值所對應(yīng)的特征向量。主成分分析的計算步驟(1)計算相關(guān)系數(shù)矩陣(2)計算特征值與特征向量(3)計算主成分貢獻(xiàn)率及累計貢獻(xiàn)率(4)計算主成分載荷(1)計算相關(guān)系數(shù)矩陣式中,rij(i,j=1,2,…,p)為原來變量xi與xj的相關(guān)系數(shù)(1)計算相關(guān)系數(shù)矩陣相關(guān)系數(shù)rij的計算公式為:(1)計算相關(guān)系數(shù)矩陣因為相關(guān)系數(shù)矩陣R是實對稱矩陣(即rij=rji),所以
6、只需計算上三角元素或下三角元素即可。(2)計算特征值與特征向量首先解特征方程
7、λI–R
8、=0求出特征值λi(i=1,2,…,p),并使其按大小順序排列,即λ1≥λ2≥…,≥λp≥0;(2)計算特征值與特征向量然后分別求出對應(yīng)于特征值λi的特征向量ei(i=1,2,…,p)。(2)計算特征值與特征向量數(shù)值計算方法實對稱矩陣特征值與特征向量的雅可比法雅可比法的算法原理雅可比(Jacobi)方法求實對稱矩陣特征值與特征向量的基本思路如下:設(shè)n階矩陣A為對稱矩陣,在其非對角線元素中選取一個絕對值最大的元素,設(shè)為ap
9、q,利用平面旋轉(zhuǎn)變換矩陣R0(p,q,θ)對A進(jìn)行正交相似變換:A1=AR0(p,q,θ)其中,R0(p,q,θ)的元素為:雅可比法的算法原理rpp=cosθ,rqq=cosθ,rpq=-sinθ,rqp=sinθ,rij=0,i,j≠p,q雅可比法的算法原理如果按下式確定角度θ:則對稱矩陣A經(jīng)上述變換后,其非對角線元素的平方和將減少2a2pq,對角線元素的平方和將增加2a2pq,而矩陣中所有元素的平方和保持不變。雅可比法的算法原理由此可知,對稱矩陣A每經(jīng)過一次這樣的正交相似變換,其非對角線元素的平方和將向
10、0趨近一步。因此,只要反復(fù)進(jìn)行上述正交變換,就可以將對稱矩陣A變換為對角矩陣。對角矩陣中對角線上的元素即是矩陣的特征值,而每一步中的平面旋轉(zhuǎn)矩陣的乘積的一列即為對應(yīng)的特征向量。(3)計算主成分貢獻(xiàn)率及累計貢獻(xiàn)率主成分zi貢獻(xiàn)率為:累計貢獻(xiàn)率為:(3)計算主成分貢獻(xiàn)率及累計貢獻(xiàn)率一般取累計貢獻(xiàn)率達(dá)85-95%的特征值λ1,λ2,…,λm所對應(yīng)的第一,第二,……,第m(m≤p)個主成分。(4)計算主成分載荷主成分