高斯回歸SVM回歸.docx

《高斯回歸SVM回歸.docx》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、高斯過程回歸1.回歸的方法目標(biāo)在做回歸時(shí)，為確定映射函數(shù)，有一類方法是貝葉斯回歸。該方法定義了一個(gè)函數(shù)分布，賦予每一種可能的函數(shù)一個(gè)先驗(yàn)概率，可能性越大的函數(shù)先驗(yàn)概率越高。但是可能的函數(shù)集數(shù)量很多，如何選擇函數(shù)就是高斯過程回歸解決的問題。2.高斯過程高斯過程是任意有限個(gè)隨機(jī)變量均具有聯(lián)合高斯分布的集合，若一個(gè)隨機(jī)過程的變量的隨機(jī)分布滿足高斯分布，則這個(gè)隨機(jī)過程就是高斯過程，其性質(zhì)完全由均值函數(shù)和協(xié)方差函數(shù)確定。均值函數(shù)和協(xié)方差函數(shù)為：為任意隨機(jī)變量。因此高斯過程可以定義為通常會(huì)做預(yù)處理，使得其均值函數(shù)為0。3.高斯過程回歸回歸模型如下：其中為輸入向量，為函數(shù)值，為受加性噪聲污染的

2、觀測值。假設(shè)噪聲服從.可以得到觀測值的先驗(yàn)分布為：觀測值與預(yù)測值的聯(lián)合先驗(yàn)分布為：其中為n*n階對稱正定的協(xié)方差矩陣，矩陣元素表示之間的相關(guān)性。為測試向量與訓(xùn)練集輸入之間的n*1階協(xié)方差矩陣。為測試點(diǎn)自身的協(xié)方差。為n維單位矩陣。由此可以計(jì)算預(yù)測值的后驗(yàn)分布：其中，即為測試點(diǎn)的預(yù)測值的均值和方差。4.高斯過程回歸的訓(xùn)練高斯回歸過程可以選擇不同的協(xié)方差函數(shù)，常用的協(xié)方差函數(shù)是平方指數(shù)協(xié)方差：其中，為方差尺度，為信號方差。參數(shù)集合為超參數(shù)，一般通過極大似然法求得。首先建立訓(xùn)練樣本條件概率的負(fù)對數(shù)似然函數(shù)：對求偏導(dǎo)數(shù)，然后采樣共軛梯度法、牛頓法等優(yōu)化方法對偏導(dǎo)數(shù)進(jìn)行最小化得到超參數(shù)的最

3、優(yōu)解。這里負(fù)對數(shù)似然函數(shù)的形式為：其偏導(dǎo)數(shù)為：其中.由上式求得最優(yōu)超參數(shù)后，便可由第3小節(jié)得到的，5.高斯回歸的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：處理高維、小樣本、非線性等復(fù)雜問題有很好的適應(yīng)性，泛化能力強(qiáng)與ANN，SVM相比容易實(shí)現(xiàn)，超參數(shù)自適應(yīng)獲取、非參數(shù)推斷靈活摒棄了線性模型參數(shù)的思想，直接通過核函數(shù)建立y之間的關(guān)系，從一個(gè)有參模型過度到無參模型缺點(diǎn)：計(jì)算量大、局限于高斯噪聲分布假設(shè)（觀測數(shù)據(jù)滿足多變量聯(lián)合高斯分布）6.高斯回歸的應(yīng)用用于時(shí)間序列預(yù)測分析用于動(dòng)態(tài)系統(tǒng)模型辨識用于系統(tǒng)控制或控制系統(tǒng)設(shè)計(jì)與貝葉斯濾波方法想結(jié)婚SVM回歸1.VC維Vapnik-Chervonenkis維度：一個(gè)數(shù)據(jù)集有

4、N個(gè)點(diǎn)，這N個(gè)點(diǎn)可以用種標(biāo)記方法分成正負(fù)例。因此N個(gè)數(shù)據(jù)點(diǎn)就有種學(xué)習(xí)方法。對于N個(gè)點(diǎn)的分類，我們都能找到一個(gè)假設(shè)將正負(fù)例分開，那么我們就說散列N個(gè)點(diǎn)?？梢员簧⒘械狞c(diǎn)的最大數(shù)量稱為的VC維。例如二維線性分類器的VC維是3，因?yàn)楫?dāng)有如下的4個(gè)點(diǎn)時(shí)，無法分類了。VC維越大，學(xué)習(xí)能力越強(qiáng)，學(xué)習(xí)越復(fù)雜。2.SVM回歸假定訓(xùn)練樣本集，其中為輸入值為對應(yīng)的目標(biāo)值，N為樣本數(shù)。定義不敏感損失函數(shù)為：其中為通過樣本學(xué)習(xí)構(gòu)造的回歸估計(jì)函數(shù)，為不敏感損失函數(shù)。學(xué)習(xí)的目的是構(gòu)造，使之與目標(biāo)值之間的距離小于，同時(shí)函數(shù)的VC維最小，這樣可以最優(yōu)地估計(jì)出對應(yīng)的目標(biāo)值。支持向量機(jī)的思想是：通過某一非線性函數(shù)將訓(xùn)

5、練數(shù)據(jù)映射到一個(gè)高維特征空間中構(gòu)造回歸估計(jì)函數(shù)，這種非線性變換采用的是核函數(shù)來實(shí)現(xiàn)。估計(jì)函數(shù)可以表示為：其中為權(quán)向量，維數(shù)是特征空間維數(shù)。SVM回歸用不敏感損失函數(shù)實(shí)現(xiàn)高維空間的線性回歸，并且采用結(jié)構(gòu)風(fēng)險(xiǎn)（=經(jīng)驗(yàn)風(fēng)險(xiǎn)+置信風(fēng)險(xiǎn)）最小原則來減小模型的復(fù)雜度，其優(yōu)化公式為：s.t.,其中常數(shù)C(C>0)表示控制訓(xùn)練誤差的代價(jià)（懲罰系數(shù)）；為松弛變量，表示引入訓(xùn)練集的誤差；為不敏感損失函數(shù)，表示允許的訓(xùn)練損失。min的優(yōu)化問題通過引入拉格朗日乘子將其轉(zhuǎn)化為對偶問題：對分別求得偏導(dǎo)，令其等于0，求解上式得：s.t.其中只有部分參數(shù)不為0，它們對應(yīng)的就是問題中的支持向量。得到權(quán)重向量和回歸

6、函數(shù)為：也可以用核函數(shù)替代：的計(jì)算方法為：3.SVM回歸的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：能很好地解決小樣本、非線性、高維和局部極小點(diǎn)等問題。基于結(jié)構(gòu)風(fēng)險(xiǎn)最小。泛化能力強(qiáng)。對數(shù)據(jù)規(guī)模和分布限制小缺點(diǎn)：線性SVM比非線性SVM慢。數(shù)據(jù)量大，訓(xùn)練時(shí)間就會(huì)較長對缺失數(shù)據(jù)敏感需要選擇合適的核函數(shù)4.應(yīng)用時(shí)間序列預(yù)測分析光譜定量分析