特征選擇和特征提取.ppt

《特征選擇和特征提取.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、模式識(shí)別原理與應(yīng)用專業(yè)：模式識(shí)別與智能系統(tǒng)學(xué)生姓名：***任課教師：余老師一、基本概念特征的選擇與提取是模式識(shí)別中重要而困難的一個(gè)環(huán)節(jié)：分析各種特征的有效性并選出最有代表性的特征是模式識(shí)別的關(guān)鍵一步。降低特征維數(shù)在很多情況下是有效設(shè)計(jì)分類器的重要課題。引言特征的形成特征形成(acquisition)：信號(hào)獲取或測(cè)量→原始測(cè)量原始特征實(shí)例：數(shù)字圖象中的各像素灰度值人體的各種生理指標(biāo)原始特征分析：原始測(cè)量很大程度上不能反映對(duì)象本質(zhì)高維原始特征不利于分類器設(shè)計(jì)：計(jì)算量大，冗余，樣本分布十分稀疏。引言二、特征的選擇與提取兩類提取有效信息、壓縮特征空間的

2、方法：特征提取和特征選擇特征提取(extraction)：用映射（或變換）的方法把原始特征變換為較少的新特征。特征選擇(selection)：從原始特征中挑選出一些最有代表性，分類性能最好的特征。特征的選擇與提取與具體問題有很大關(guān)系，目前沒有理論能給出對(duì)任何問題都有效的特征選擇與提取方法。特征的選擇與提取舉例細(xì)胞自動(dòng)識(shí)別：原始測(cè)量：（正常與異常）細(xì)胞的數(shù)字圖像原始特征（特征的形成，找到一組代表細(xì)胞性質(zhì)的特征）：細(xì)胞面積，胞核面積，形狀系數(shù)，光密度，核內(nèi)紋理，核漿比壓縮特征：原始特征的維數(shù)仍很高，需壓縮以便于分類特征選擇：挑選最有分類信息的特征特

3、征提取：數(shù)學(xué)變換傅立葉變換或小波變換用PCA方法作特征壓縮三、特征提取與K-L變換特征提?。河糜成洌ɑ蜃儞Q）的方法把原始特征變換為較少的新特征PCA(PrincipleComponentAnalysis)方法：進(jìn)行特征降維變換，不能完全地表示原有的對(duì)象，能量總會(huì)有損失。希望找到一種能量最為集中的的變換方法使損失最小。K-L(Karhunen-Loeve)變換：最優(yōu)正交線性變換，相應(yīng)的特征提取方法被稱為PCA方法特征值特征向量K-L變換離散K-L變換：對(duì)向量x用標(biāo)準(zhǔn)正交向量系uj進(jìn)行線性變換，得到新的向量Y.經(jīng)過K－L變換組合，輸出Y的各分量之

4、間將具有最小的相關(guān)性.特征提取離散K-L變換的均方誤差用有限項(xiàng)估計(jì)x：該估計(jì)的均方誤差：特征提取因?yàn)閡j是確定性向量，所以有求解最小均方誤差正交基用Lagrange乘子法，可以求出滿足正交條件下的ε取極值時(shí)的坐標(biāo)系統(tǒng)：結(jié)論：以相關(guān)矩陣R的d個(gè)特征向量uj為基向量來展開x時(shí)，其截?cái)嗑秸`差取得最小值為：K-L變換：當(dāng)取矩陣R的d個(gè)最大特征值對(duì)應(yīng)的特征向量來展開x時(shí)，其截?cái)嗑秸`差最小。這d個(gè)特征向量組成的正交坐標(biāo)系稱作x所在的D維空間的d維K-L變換坐標(biāo)系，x在K-L坐標(biāo)系上的展開系數(shù)向量y稱作x的K-L變換特征提取K-L變換的表示K-L變

5、換的向量展開表示：K-L變換的矩陣表示：特征提取K-L變換的性質(zhì)y的相關(guān)矩陣是對(duì)角矩陣：特征提取K-L變換的性質(zhì)K-L坐標(biāo)系把矩陣R對(duì)角化，即通過K-L變換消除原有向量x的各分量間的相關(guān)性，從而有可能去掉那些帶有較少信息的分量以達(dá)到降低特征維數(shù)的目的特征提取主成分分析(PCA)主分量分析（PrimaryComponentAnalysis,PCA）就是基于K-L變換的提取圖像特征的一種最優(yōu)正交線性變換，可以有效去掉一個(gè)隨機(jī)向量中各元素間的相關(guān)性。PCA的目的：尋找能夠表示采樣數(shù)據(jù)的最好的投影子空間.PCA的求解：特征向量常被叫做“主分量”，

6、每個(gè)樣本被它在前幾個(gè)主分量上的投影近似表示，U張成的空間稱為原空間的子空間，PCA實(shí)際上就是在子空間上的投影.從幾何意義來看，變換后的主分量空間坐標(biāo)系與變換前的空間坐標(biāo)系相比旋轉(zhuǎn)了一個(gè)角度。而且新坐標(biāo)系的坐標(biāo)軸一定指向數(shù)據(jù)信息量較大的方向。以二維空間為例，假定某樣本的分布呈橢圓狀，那么經(jīng)過旋轉(zhuǎn)后，新坐標(biāo)系的坐標(biāo)軸一定分別指向橢圓的長(zhǎng)半軸和短半軸方向——主分量方向，因?yàn)殚L(zhǎng)半軸這一方向的信息量最大。x1x2u2u1主成分是這個(gè)橢圓的「長(zhǎng)軸」方向。短軸的方向和長(zhǎng)軸垂直，是「第二個(gè)」主成分的方向。變換后的各分量，它們所包括的信息量不同，呈逐漸減少趨勢(shì)。

7、事實(shí)上，第一主分量集中了最大的信息量，常常占80％以上。第二、三主分量的信息量依次很快遞減，到了第n分量，信息幾乎為零。PrincipalcomponentPCA對(duì)于橢球狀分布的樣本集有很好的效果,學(xué)習(xí)所得的主方向就是橢球的主軸方向.PCA是一種非監(jiān)督的算法,能找到很好地代表所有樣本的方向,但這個(gè)方向?qū)τ诜诸愇幢厥亲钣欣娜四樧R(shí)別就是將已檢測(cè)到的待識(shí)別人臉與數(shù)據(jù)庫(kù)中的已知人臉進(jìn)行比較匹配，得出相關(guān)信息，來鑒別該人是誰(shuí)。這一過程的核心是選擇恰當(dāng)?shù)娜四槺碚鞣绞脚c匹配策略，即選擇合適的人臉模式的特征，根據(jù)所提取的特征進(jìn)行匹配。人臉圖像所包含的模式特征

8、十分豐富,它不僅包括一些能直觀感覺到的特征，如膚色、發(fā)色等顏色特征，臉的輪廓等輪廓特征，用到的更多的是不能感覺，只能通過變換等處理之后才表現(xiàn)出來的特征