資源描述：
《多重共線性和非線性回歸的問(wèn)題》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、多重共線性和非線性回歸的問(wèn)題前幾天她和我說(shuō)，在百度里有個(gè)人連續(xù)追著我的回答，三次說(shuō)我的回答錯(cuò)了。當(dāng)時(shí)非常驚訝，趕緊找到那個(gè)回答的問(wèn)題，看看那個(gè)人是怎么說(shuō)。最終發(fā)現(xiàn)他是說(shuō)多重共線性和非線性回歸的問(wèn)題，他認(rèn)為多個(gè)自變量進(jìn)行不能直接回歸，存在共線性的問(wèn)題，需要進(jìn)行因子分析（或主成分分析）；說(shuō)非線性回歸不能轉(zhuǎn)換成線性回歸的方法，這里我詳細(xì)說(shuō)說(shuō)這兩方面的問(wèn)題到底是怎么回事（根據(jù)我的理解），我發(fā)現(xiàn)很多人很怕這個(gè)多重共線性的問(wèn)題，聽(tīng)到非線性回歸，腦袋就更大了。。。?????（1）多重共線性問(wèn)題???????我們都知道在進(jìn)行多元回歸的時(shí)候，特
2、別是進(jìn)行經(jīng)濟(jì)上指標(biāo)回歸的時(shí)候，很多變量存在共同趨勢(shì)相關(guān)性，讓我們得不到希望的回歸模型。這里經(jīng)常用到的有三種方法，而不同的方法有不同的目的，我們分別來(lái)看看：???????第一個(gè)，是最熟悉也是最方便的——逐步回歸法。??????逐步回歸法是根據(jù)自變量與因變量相關(guān)性的大小，將自變量一個(gè)一個(gè)選入方法中，并且每選入一個(gè)自變量都進(jìn)行一次檢驗(yàn)。最終留在模型里的自變量是對(duì)因變量有最大顯著性的，而剔除的自變量是與因變量無(wú)顯著線性相關(guān)性的，以及與其他自變量存在共線性的。用逐步回歸法做的多元回歸分析，通常自變量不宜太多，一般十幾個(gè)以下，而且你的數(shù)據(jù)
3、量要是變量個(gè)數(shù)3倍以上才可以，不然做出來(lái)的回歸模型誤差較大。比如說(shuō)你有10個(gè)變量，數(shù)據(jù)只有15組，然后做擬合回歸，得到9個(gè)自變量的系數(shù)，雖然可以得到，但是精度不高。這個(gè)方法我們不僅可以找到對(duì)因變量影響顯著的幾個(gè)自變量，還可以得到一個(gè)精確的預(yù)測(cè)模型，進(jìn)行預(yù)測(cè)，這個(gè)非常重要的。而往往通過(guò)逐步回歸只能得到幾個(gè)自變量進(jìn)入方程中，有時(shí)甚至只有一兩個(gè)，令我們非常失望，這是因?yàn)樽宰兞亢芏喽即嬖诠簿€性，被剔除了，這時(shí)可以通過(guò)第二個(gè)方法來(lái)做回歸。?????第二個(gè)，通過(guò)因子分析（或主成分分析）再進(jìn)行回歸。?????這種方法用的也很多，而且可以很好
4、的解決自變量間的多重共線性。首先通過(guò)因子分析將幾個(gè)存在共線性的自變量合為一個(gè)因子，再用因子分析得到的幾個(gè)因子和因變量做回歸分析，這里的因子之間沒(méi)有顯著的線性相關(guān)性，根本談不上共線性的問(wèn)題。通過(guò)這種方法可以得到哪個(gè)因子對(duì)因變量存在顯著的相關(guān)性，哪個(gè)因子沒(méi)有顯著的相關(guān)性，再?gòu)囊蜃又械淖兞繉?duì)因子的載荷來(lái)看，得知哪個(gè)變量對(duì)因變量的影響大小關(guān)系。而這個(gè)方法只能得到這些信息，第一它不是得到一個(gè)精確的，可以預(yù)測(cè)的回歸模型；第二這種方法不知道有顯著影響的因子中每個(gè)變量是不是都對(duì)因變量有顯著的影響，比如說(shuō)因子分析得到三個(gè)因子，用這三個(gè)因子和因變
5、量做回歸分析，得到第一和第二個(gè)因子對(duì)因變量有顯著的影響，而在第一個(gè)因子中有4個(gè)變量組成，第二個(gè)因子有3個(gè)變量組成，這里就不知道這7個(gè)變量是否都對(duì)因變量存在顯著的影響；第三它不能得到每個(gè)變量對(duì)因變量準(zhǔn)確的影響大小關(guān)系，而我們可以通過(guò)逐步回歸法直觀的看到自變量前面的系數(shù)大小，從而判斷自變量對(duì)因變量影響的大小。?????第三個(gè)，嶺回歸。?????通過(guò)逐步回歸時(shí)，我們可能得到幾個(gè)自變量進(jìn)入方程中，但是有時(shí)會(huì)出現(xiàn)自變量影響的方向出現(xiàn)錯(cuò)誤，比如第一產(chǎn)業(yè)的產(chǎn)值對(duì)國(guó)民收入是正效應(yīng)，而可能方程中的系數(shù)為負(fù)的，這種肯定是由于共線性導(dǎo)致出現(xiàn)了擬合失
6、真的結(jié)果，而這樣的結(jié)果我們只能通過(guò)自己的經(jīng)驗(yàn)去判斷。通常我們?cè)谧鲇绊懸蛩嘏袛嗟臅r(shí)候，不僅希望得到各個(gè)因素對(duì)因變量真實(shí)的影響關(guān)系，還希望知道準(zhǔn)確的影響大小，就是每個(gè)自變量系數(shù)的大小，這個(gè)時(shí)候，我們就可以通過(guò)嶺回歸的方法。???????嶺回歸是在自變量信息矩陣的主對(duì)角線元素上人為地加入一個(gè)非負(fù)因子k，從而使回歸系數(shù)的估計(jì)稍有偏差、而估計(jì)的穩(wěn)定性卻可能明顯提高的一種回歸分析方法，它是最小二乘法的一種補(bǔ)充，嶺回歸可以修復(fù)病態(tài)矩陣，達(dá)到較好的效果。在SPSS中沒(méi)有提供嶺回歸的模塊，可以直接點(diǎn)擊使用，只能通過(guò)編程來(lái)實(shí)現(xiàn)，當(dāng)然在SAS、Ma
7、tlab中也可以實(shí)現(xiàn)。做嶺回歸的時(shí)候，需要進(jìn)行多次調(diào)試，選擇適當(dāng)?shù)膋值，才能得到比較滿意的方程，現(xiàn)在這個(gè)方法應(yīng)用越來(lái)越普遍。在07年的時(shí)候，我的一個(gè)老師還覺(jué)得這個(gè)方法是他的看家本領(lǐng)，但是現(xiàn)在很多人都會(huì)這個(gè)方法，而且用的越來(lái)越多了，得到的結(jié)果也非常合理。??????????特別提醒的是：多重共線性說(shuō)的是變量之間線性關(guān)系，和非線性不要混淆了。多組變量之間兩種極端的關(guān)系是完全多重共線性關(guān)系和完全非線性關(guān)系，即完全是平行直線的關(guān)系和完全無(wú)規(guī)則的曲線關(guān)系（是什么形狀，還真不好形容，自己悟去吧^_^）。當(dāng)然解決多重共線性問(wèn)題的方法還有，比
8、如差分微分模型，應(yīng)用的很少，我估計(jì)是非常專(zhuān)業(yè)的人才會(huì)用的吧，呵呵，反正我不會(huì)這個(gè)方法。接下來(lái)說(shuō)說(shuō)非線性回歸。??????（2）非線性回歸的問(wèn)題。??????非線性回歸，顧名思義自變量和因變量是非線性的關(guān)系，比如平方、次方等等，但是大多數(shù)的非線性方程都可以轉(zhuǎn)換成線性的方程，比如
