資源描述：
《徑向基核函數(shù) (radial basis function)–rbf》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、徑向基核函數(shù)(RadialBasisFunction)–RBF發(fā)表于297天前技術(shù),科研評(píng)論數(shù)8被圍觀3526views+論文中又提到了RBF，雖然是個(gè)簡單的核函數(shù)，但是也再總結(jié)一下。關(guān)于SVM中的核函數(shù)的選擇，比較簡單和應(yīng)用比較廣的是RBF。所謂徑向基函數(shù)(RadialBasisFunction簡稱RBF),就是某種沿徑向?qū)ΨQ的標(biāo)量函數(shù)。通常定義為空間中任一點(diǎn)x到某一中心xc之間歐氏距離的單調(diào)函數(shù),可記作k(
2、
3、x-xc
4、
5、),其作用往往是局部的,即當(dāng)x遠(yuǎn)離xc時(shí)函數(shù)取值很小。最常用的徑向基函數(shù)是高斯核函數(shù),形式為k(
6、
7、x-xc
8、
9、)=exp{-
10、
11、
12、x-xc
13、
14、^2/(2*σ)^2)}其中xc為核函數(shù)中心,σ為函數(shù)的寬度參數(shù),控制了函數(shù)的徑向作用范圍。建議首選RBF核函數(shù)，因?yàn)椋?.能夠?qū)崿F(xiàn)非線性映射；（線性核函數(shù)可以證明是他的一個(gè)特例；SIGMOID核函數(shù)在某些參數(shù)上近似RBF的功能。）2.參數(shù)的數(shù)量影響模型的復(fù)雜程度，多項(xiàng)式核函數(shù)參數(shù)較多。3.theRBFkernelhaslessnumericaldifficulties.———–那么，還記得為何要選用核函數(shù)么？———–對(duì)于這個(gè)問題，在Jasper’sJavaJacal博客《SVM入門（七）為何需要核函數(shù)》中做了很詳細(xì)的闡述，另外博主對(duì)于S
15、VM德入門學(xué)習(xí)也是做了很詳細(xì)的闡述，有興趣的可以去學(xué)習(xí)，丕子覺得這個(gè)文章寫得相當(dāng)好，特意轉(zhuǎn)載了過來，留念一下。如果提供的樣本線性不可分，結(jié)果很簡單，線性分類器的求解程序會(huì)無限循環(huán)，永遠(yuǎn)也解不出來。這必然使得它的適用范圍大大縮小，而它的很多優(yōu)點(diǎn)我們實(shí)在不原意放棄，怎么辦呢？是否有某種方法，讓線性不可分的數(shù)據(jù)變得線性可分呢？例子是下面這張圖：我們把橫軸上端點(diǎn)a和b之間紅色部分里的所有點(diǎn)定為正類，兩邊的黑色部分里的點(diǎn)定為負(fù)類。試問能找到一個(gè)線性函數(shù)把兩類正確分開么？不能，因?yàn)槎S空間里的線性函數(shù)就是指直線，顯然找不到符合條件的直線。但我們可以找到一條曲線，例
16、如下面這一條：顯然通過點(diǎn)在這條曲線的上方還是下方就可以判斷點(diǎn)所屬的類別（你在橫軸上隨便找一點(diǎn)，算算這一點(diǎn)的函數(shù)值，會(huì)發(fā)現(xiàn)負(fù)類的點(diǎn)函數(shù)值一定比0大，而正類的一定比0小）。這條曲線就是我們熟知的二次曲線，它的函數(shù)表達(dá)式可以寫為：問題只是它不是一個(gè)線性函數(shù)，但是，下面要注意看了，新建一個(gè)向量y和a：這樣g(x)就可以轉(zhuǎn)化為f(y)=，你可以把y和a分別回帶一下，看看等不等于原來的g(x)。用內(nèi)積的形式寫你可能看不太清楚，實(shí)際上f(y)的形式就是：g(x)=f(y)=ay在任意維度的空間中，這種形式的函數(shù)都是一個(gè)線性函數(shù)（只不過其中的a和y都是多維向
17、量罷了），因?yàn)樽宰兞縴的次數(shù)不大于1。看出妙在哪了么？原來在二維空間中一個(gè)線性不可分的問題，映射到四維空間后，變成了線性可分的！因此這也形成了我們最初想解決線性不可分問題的基本思路——向高維空間轉(zhuǎn)化，使其變得線性可分。而轉(zhuǎn)化最關(guān)鍵的部分就在于找到x到y(tǒng)的映射方法。遺憾的是，如何找到這個(gè)映射，沒有系統(tǒng)性的方法（也就是說，純靠猜和湊）。具體到我們的文本分類問題，文本被表示為上千維的向量，即使維數(shù)已經(jīng)如此之高，也常常是線性不可分的，還要向更高的空間轉(zhuǎn)化。其中的難度可想而知。小Tips:為什么說f(y)=ay是四維空間里的函數(shù)?大家可能一時(shí)沒看明白。回想一下我
18、們二維空間里的函數(shù)定義g(x)=ax+b變量x是一維的，為什么說它是二維空間里的函數(shù)呢？因?yàn)檫€有一個(gè)變量我們沒寫出來，它的完整形式其實(shí)是y=g(x)=ax+b即y=ax+b看看，有幾個(gè)變量？兩個(gè)，二維。再看看f(y)=ay里面的y是三維的變量，再加上f(y)成為四維的了。用一個(gè)具體文本分類的例子來看看這種向高維空間映射從而分類的方法如何運(yùn)作，想象一下，我們文本分類問題的原始空間是1000維的（即每個(gè)要被分類的文檔被表示為一個(gè)1000維的向量），在這個(gè)維度上問題是線性不可分的。現(xiàn)在我們有一個(gè)2000維空間里的線性函數(shù)f(x’)=+b注意向量
19、的右上角有個(gè)’哦。它能夠?qū)⒃瓎栴}變得可分。式中的w’和x’都是2000維的向量，只不過w’是定值，而x’是變量（好吧,嚴(yán)格說來這個(gè)函數(shù)是2001維的,哈哈），現(xiàn)在我們的輸入呢，是一個(gè)1000維的向量x，分類的過程是先把x變換為2000維的向量x’，然后求這個(gè)變換后的向量x’與向量w’的內(nèi)積，再把這個(gè)內(nèi)積的值和b相加，就得到了結(jié)果，看結(jié)果大于閾值還是小于閾值就得到了分類結(jié)果。你發(fā)現(xiàn)了什么？我們其實(shí)只關(guān)心那個(gè)高維空間里內(nèi)積的值，那個(gè)值算出來了，分類結(jié)果就算出來了。而從理論上說，x’是經(jīng)由x變換來的，因此廣義上可以把它叫做x的函數(shù)（有一個(gè)x，就確定了一個(gè)x’
20、，對(duì)吧，確定不出第二個(gè)），而w’是常量，它是一個(gè)低維空間里的常量w經(jīng)過變換得到的，所以給了一個(gè)
