基于svm的時(shí)間序列預(yù)測(cè)

《基于svm的時(shí)間序列預(yù)測(cè)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、基于SVM的時(shí)間序列預(yù)測(cè)吳海山eshan110@gmail.comHomepage:http://eshan110.googlepages.com報(bào)告大綱1.時(shí)間序列預(yù)測(cè)的意義2.時(shí)間序列預(yù)測(cè)的常見方法和缺陷3.支持向量機(jī)(SVM)的背景和基本原理4.SVM的在時(shí)間序列預(yù)測(cè)中的應(yīng)用5.組合的SVM時(shí)間序列預(yù)測(cè)方法6.今后的工作時(shí)間序列預(yù)測(cè)的意義幾個(gè)實(shí)例：（1）根據(jù)歷史煤炭需求量來預(yù)測(cè)將來的煤炭需求量，可以預(yù)測(cè)將來的能源結(jié)構(gòu)，調(diào)整能源結(jié)構(gòu)（2）預(yù)測(cè)礦井表面瓦斯涌出量可以有效判斷瓦斯變化趨勢(shì)，從而減少災(zāi)難發(fā)

2、生（3）預(yù)測(cè)將來電力負(fù)荷值，可以合理安排發(fā)電機(jī)組，獲取更好的經(jīng)濟(jì)效益科學(xué)、準(zhǔn)確的時(shí)間序列的預(yù)測(cè)方法最為關(guān)鍵常用的預(yù)測(cè)方法基本方法自回歸、移動(dòng)平均法、指數(shù)平滑法等高級(jí)方法灰色系統(tǒng)、混沌預(yù)測(cè)、神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)以及改進(jìn)模型如模糊神經(jīng)網(wǎng)絡(luò)、小波神經(jīng)網(wǎng)絡(luò)等，其中神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法的應(yīng)用非常普遍神經(jīng)網(wǎng)絡(luò)固有的一些缺陷1.網(wǎng)絡(luò)結(jié)構(gòu)難以確定2.容易陷入局部最優(yōu)3.采用了經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則（ERM），即用經(jīng)驗(yàn)風(fēng)險(xiǎn)取代期望風(fēng)險(xiǎn)：根據(jù)概率論中的大數(shù)定理，只有當(dāng)樣本數(shù)目趨向無窮時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)才趨向于期望風(fēng)險(xiǎn)支持向量機(jī)支持向量機(jī)，Sup

3、portVectorMachines,SVM可以避免以上缺陷：1.將問題轉(zhuǎn)化為二次規(guī)劃問題，理論上可以得到全局最優(yōu)解2.建立在統(tǒng)計(jì)學(xué)的VC（Vapnik-ChervonenksDimension）維理論和結(jié)構(gòu)化風(fēng)險(xiǎn)最小化原則(StructuralRiskMinimization,SRM)的基礎(chǔ)上，有效地避免了維數(shù)災(zāi)3.可以較好地解決小樣本問題支持向量機(jī)的背景和原理背景支持向量機(jī)（SupportVectorMachines,SVM)是基于統(tǒng)計(jì)學(xué)習(xí)理論(StatisticalLearningTheory或S

4、LT)的一種新型機(jī)器學(xué)習(xí)方法,它由V.Vapnik等在1992年提出。隨著SLT理論的不斷完善，SVM也越來越受到人們的重視，目前，SVM算法在模式識(shí)別、回歸估計(jì)、概率密度函數(shù)估計(jì)等方面都有應(yīng)用。支持向量機(jī)用于分類如下圖的二分類問題，可以看作在特征空間的分類：wTx+b=0wTx+b<0wTx+b>0f(x)=sign(wTx+b)線性可分如何分類是最優(yōu)？最優(yōu)分類平面H為分類線，H1、H2分別為過各類中離分類線最近的樣本且平行于分類線的直線，它們之間的距離叫做分類間隔。所謂最優(yōu)分類線，就是要求分類線不但

5、能將兩類正確分開（訓(xùn)練錯(cuò)誤率為0），而且使分類間隔ρ最大rρH2H1H支持向量最優(yōu)分類平面（續(xù)）如果所有數(shù)據(jù)點(diǎn)距離最優(yōu)分類平面的距離都大于1，即可以實(shí)現(xiàn)正確分類，則對(duì)于數(shù)據(jù)點(diǎn){(xi,yi)}，滿足下式對(duì)于每一數(shù)據(jù)點(diǎn)，距離分類平面的距離為：，對(duì)于支持向量來說，上面不等號(hào)改為等號(hào)。則分類間隔為：:wTxi+b≥1ifyi=1wTxi+b≤-1ifyi=-1最優(yōu)分類平面（續(xù)）由于最佳分類平面的ρ最大，則問題可轉(zhuǎn)化為:上式還可表達(dá)為：尋找w和b使得:最大;并對(duì)所有數(shù)據(jù)點(diǎn){(xi,yi)}有wTxi+b≥1if

6、yi=1;wTxi+b≤-1ifyi=-1Min?wTw;St.yi(wTxi+b)≥1最優(yōu)分類平面（續(xù)）當(dāng)因噪聲等原因，會(huì)出現(xiàn)分類錯(cuò)誤。此時(shí)，引入松弛變量ξi；從而可以實(shí)現(xiàn)有噪情況下的分類ξiξi松弛變量ξi可以看作是錯(cuò)誤分類產(chǎn)生的誤差最優(yōu)分類平面（續(xù)）原來的表達(dá)式:引入松弛變量后的表達(dá)式:參數(shù)C用來調(diào)節(jié)正則化和經(jīng)驗(yàn)風(fēng)險(xiǎn)部分之間的平衡，還可以看作是對(duì)錯(cuò)誤分類點(diǎn)的懲罰參數(shù)Min?wTw+CΣξiSt.yi(wTxi+b)≥1-ξiξi≥0Min?wTw;St.yi(wTxi+b)≥1線性不可分如果對(duì)給定

7、的數(shù)據(jù)點(diǎn)不能用直線分類時(shí)，?0x2x0x線性不可分（續(xù)）解決線性不可分的一般方法：將原數(shù)據(jù)集影射到高維特征空間，從而實(shí)現(xiàn)線性可分：x→Φ(x)線性不可分（續(xù)）Min?wTw+CΣξiSt.yi(wTxi+b)≥1-ξiξi≥0Min?wTw+CΣξiSt.yi(wTΦ(xi)+b)=1-ξi影射到高維特征空間后，約束表達(dá)式變?yōu)椋褐С窒蛄繖C(jī)用于回歸對(duì)于線性可回歸的數(shù)據(jù)集{xi,yi}，SVM回歸函數(shù)表達(dá)式為:式中，L為損失函數(shù)。這里選用?不敏感損失函數(shù)，其表達(dá)式為：f(x)=wTx+b系數(shù)w和b通過最小化

8、下式得到支持向量機(jī)用于回歸（續(xù)）對(duì)于回歸錯(cuò)誤的數(shù)據(jù)點(diǎn)，同樣也引入松弛變量。將?不敏感損失函數(shù)代入求得w和b的最小化式中，可得到：在求解上式時(shí)，一般采用對(duì)偶理論，把它轉(zhuǎn)化成二次規(guī)劃問題f(x)=wTx+b支持向量機(jī)用于回歸（續(xù)）建立拉格朗日方程：在極值處，上式對(duì)求偏導(dǎo)為零:從而得支持向量機(jī)用于回歸（續(xù)）化簡(jiǎn)后，可得原約束表達(dá)式的對(duì)偶式：同樣，當(dāng)數(shù)據(jù)集不能實(shí)現(xiàn)線性回歸時(shí)，仍將原數(shù)據(jù)集通過一非線性影射，影射到一高維特征空間，在高維特征空間中進(jìn)行線