多重共線性和非線性回歸的問題

《多重共線性和非線性回歸的問題》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、多重共線性和非線性回歸的問題前幾天她和我說，在百度里有個人連續(xù)追著我的回答，三次說我的回答錯了。當時非常驚訝，趕緊找到那個回答的問題，看看那個人是怎么說。最終發(fā)現他是說多重共線性和非線性回歸的問題，他認為多個自變量進行不能直接回歸，存在共線性的問題，需要進行因子分析（或主成分分析）；說非線性回歸不能轉換成線性回歸的方法，這里我詳細說說這兩方面的問題到底是怎么回事（根據我的理解），我發(fā)現很多人很怕這個多重共線性的問題，聽到非線性回歸，腦袋就更大了。。。?????（1）多重共線性問題???????我們都知道在進行多元回歸的時候，特

2、別是進行經濟上指標回歸的時候，很多變量存在共同趨勢相關性，讓我們得不到希望的回歸模型。這里經常用到的有三種方法，而不同的方法有不同的目的，我們分別來看看：???????第一個，是最熟悉也是最方便的——逐步回歸法。??????逐步回歸法是根據自變量與因變量相關性的大小，將自變量一個一個選入方法中，并且每選入一個自變量都進行一次檢驗。最終留在模型里的自變量是對因變量有最大顯著性的，而剔除的自變量是與因變量無顯著線性相關性的，以及與其他自變量存在共線性的。用逐步回歸法做的多元回歸分析，通常自變量不宜太多，一般十幾個以下，而且你的數據

3、量要是變量個數3倍以上才可以，不然做出來的回歸模型誤差較大。比如說你有10個變量，數據只有15組，然后做擬合回歸，得到9個自變量的系數，雖然可以得到，但是精度不高。這個方法我們不僅可以找到對因變量影響顯著的幾個自變量，還可以得到一個精確的預測模型，進行預測，這個非常重要的。而往往通過逐步回歸只能得到幾個自變量進入方程中，有時甚至只有一兩個，令我們非常失望，這是因為自變量很多都存在共線性，被剔除了，這時可以通過第二個方法來做回歸。?????第二個，通過因子分析（或主成分分析）再進行回歸。?????這種方法用的也很多，而且可以很好

4、的解決自變量間的多重共線性。首先通過因子分析將幾個存在共線性的自變量合為一個因子，再用因子分析得到的幾個因子和因變量做回歸分析，這里的因子之間沒有顯著的線性相關性，根本談不上共線性的問題。通過這種方法可以得到哪個因子對因變量存在顯著的相關性，哪個因子沒有顯著的相關性，再從因子中的變量對因子的載荷來看，得知哪個變量對因變量的影響大小關系。而這個方法只能得到這些信息，第一它不是得到一個精確的，可以預測的回歸模型；第二這種方法不知道有顯著影響的因子中每個變量是不是都對因變量有顯著的影響，比如說因子分析得到三個因子，用這三個因子和因變

5、量做回歸分析，得到第一和第二個因子對因變量有顯著的影響，而在第一個因子中有4個變量組成，第二個因子有3個變量組成，這里就不知道這7個變量是否都對因變量存在顯著的影響；第三它不能得到每個變量對因變量準確的影響大小關系，而我們可以通過逐步回歸法直觀的看到自變量前面的系數大小，從而判斷自變量對因變量影響的大小。?????第三個，嶺回歸。?????通過逐步回歸時，我們可能得到幾個自變量進入方程中，但是有時會出現自變量影響的方向出現錯誤，比如第一產業(yè)的產值對國民收入是正效應，而可能方程中的系數為負的，這種肯定是由于共線性導致出現了擬合失

6、真的結果，而這樣的結果我們只能通過自己的經驗去判斷。通常我們在做影響因素判斷的時候，不僅希望得到各個因素對因變量真實的影響關系，還希望知道準確的影響大小，就是每個自變量系數的大小，這個時候，我們就可以通過嶺回歸的方法。???????嶺回歸是在自變量信息矩陣的主對角線元素上人為地加入一個非負因子k，從而使回歸系數的估計稍有偏差、而估計的穩(wěn)定性卻可能明顯提高的一種回歸分析方法，它是最小二乘法的一種補充，嶺回歸可以修復病態(tài)矩陣，達到較好的效果。在SPSS中沒有提供嶺回歸的模塊，可以直接點擊使用，只能通過編程來實現，當然在SAS、Ma

7、tlab中也可以實現。做嶺回歸的時候，需要進行多次調試，選擇適當的k值，才能得到比較滿意的方程，現在這個方法應用越來越普遍。在07年的時候，我的一個老師還覺得這個方法是他的看家本領，但是現在很多人都會這個方法，而且用的越來越多了，得到的結果也非常合理。??????????特別提醒的是：多重共線性說的是變量之間線性關系，和非線性不要混淆了。多組變量之間兩種極端的關系是完全多重共線性關系和完全非線性關系，即完全是平行直線的關系和完全無規(guī)則的曲線關系（是什么形狀，還真不好形容，自己悟去吧^_^）。當然解決多重共線性問題的方法還有，比

8、如差分微分模型，應用的很少，我估計是非常專業(yè)的人才會用的吧，呵呵，反正我不會這個方法。接下來說說非線性回歸。??????（2）非線性回歸的問題。??????非線性回歸，顧名思義自變量和因變量是非線性的關系，比如平方、次方等等，但是大多數的非線性方程都可以轉換成線性的方程，比如