§4逐步回歸分析

《§4逐步回歸分析》由會員上傳分享，免費在線閱讀，更多相關內容在工程資料-天天文庫。

1、§4逐步回歸分析學習資料2009-09-2817:27:39閱讀624評論2:左中塵1、逐步回歸分析的主要思路在實際問題中，人們總是希望從對因變量：有影響的諸多變量中選擇一些變量作為自變量，應用多元回歸分析的方法建立“最優(yōu)”回歸方程以便對因變量進行預報或控制。所謂“最優(yōu)”回歸方程，主要是指希望在回歸方程中包含所有對因變量;?影響顯著的自變量而不包含對;?影響不顯著的口變量的回歸方程。逐步回歸分析止是根據(jù)這種原則提出來的一種回歸分析方法。它的主要思路是在考慮的全部自變量中按其對的作用大小，顯著程度大小或者說貢獻大小，由大到小地逐個引入回歸方程，而對那

2、些對】作用不顯著的變量可能始終不被引人冋歸方程。另外，己被引人冋歸方程的變量在引入新變量后也可能失去重要性，而需要從回歸方程中剔除出去。引人…個變量或者從回歸方程中剔除一個變量都稱為逐步回歸的一步，每一步都要進行F檢驗，以保證在引人新變量前回歸方程中只含有對;-影響顯著的變量，而不顯著的變量已被剔除。逐步冋歸分析的實施過程是每一步都要對已引入冋歸方程的變量計算其偏回歸平方和（即貢獻），然后選「個偏回歸平方和最小的變量，在預先給定的水平下進行顯著性檢驗，如果顯著則該變量不必從回歸方程中剔除，這時方程中其它的幾個變量也都不需要剔除(因為其它的幾個變量的

3、偏冋歸平方和都大于最小的一個更不需要剔除)。相反，如果不顯著，則該變量要剔除，然后按偏冋歸平方和由小到大地依次對方程中其它變量進行F檢驗。將對，影響不顯著的變量全部剔除，保留的都是顯著的。接著再對未引人回歸方程中的變量分別計算其偏回歸平方和，并選其中偏回歸平方和最大的一個變量，同樣在給定三水平下作顯著性檢驗，如果顯著則將該變量引入冋歸方程，這一過程一直繼續(xù)下去，直到在冋歸方程屮的變量都不能剔除而又無新變量可以引入時為止，這時逐步回歸過程結束。2、逐步回歸分析的主要計算步驟(1)確定只檢驗值在進行逐步回歸計算前要確定檢驗每個變量是否顯若的F檢驗水平，

4、以作為引人或剔除變量的標準。h檢驗水平要根據(jù)具體問題的實際情況來定。-般地，為使最終的回歸方程中包含較多的變量，F(xiàn)水平不宜取得過高，即顯著水平a不宜太小。三水平還與自由度有關，因為在逐步回歸過程中，回歸方程中所含的變量的個數(shù)不斷在變化，因此方差分析中的剩余自由度也總在變化，為方便起見常按計算自由度。，??為原始數(shù)據(jù)觀測組數(shù)，卜為估計可能選人冋歸方程的變量個數(shù)。例如"巧估計可能有2?3個變量選入回歸方程，因此取自市度為15-3-1=11,查尸分布表，當a=0.1,自由度方“，AM時，臨界值￡=也，并且在引入變量時，自由度取序―旻7,F檢驗的臨界值記花

5、在剔除變量時自由度取A-1,序―I,F檢驗的臨界值記匚并要求斤2丹，實際應用中常取（2）逐步計算如果已計算??步（包含==0）,且回歸方程中已引入，個變量，則第一：步的計算為：C）計算全部自變量的貢獻：-（偏回歸平方和）。C）在已引入的自變量中，檢查是否有需要剔除的不顯著變量。這就要在已引入的變量中選取具有最小「值的一個并計算其M值，如果”電，表示該變量不顯著，應將其從回歸方程中剔除，計算轉至（匸）。如F'嶺則不需要剔除變量，這時則考慮從未引入的變量中選岀具有最大:一值的-個并計算-「值，如果八?則表示該變量顯著，應將其引人回歸方程，計算轉至（「）

6、。如果比叭表示已無變量可選入方程，則逐步計算階段結束，計算轉人（3）。（c）剔除或引人-?個變量后，相關系數(shù)矩陣進行消去變換，第：-：步計算結束。其后重復《）?（'?）再進行下步計算。由上所述，逐步計算的每一步總是先考慮剔除變量，僅當無剔除時才考慮引入變量。實際計算吋，開頭幾步可能都是引人變量，其后的某幾步也可能相繼地剔除幾個變量。當方程中已無變量可剔除，且又無變量可引入方程時，第二階段逐步計算12卩告結束，這時轉入第三階段。（3）其他計算，主要是計算回歸方程入選變量的系數(shù)、復相關系數(shù)及殘差等統(tǒng)計量。逐步回歸選取變量是逐漸增加的。選取第/個變量時僅

7、要求與前面己選的個變量配合起來有最小的殘差平方和，因此最終選出的上個重要變量有時可能不是使殘差平方和最小的i個，但大量實際問題計算結果表明，這丄個變量常常就是所有丄個變量的組合中具有最小殘差平方和的那一個組合，特別當丄不太大時更是如此，這表明逐步回歸是比較有效的方法。引人回歸方程的變量的個數(shù)丄與各變量貢獻的顯著性檢驗中所規(guī)定的檢驗的臨界值齊與E的取值大小有關。如果希望多選一些變量進人回歸方程，則應適當增大檢驗水平Q值，即減小斤■與的值，特別地，當恥耳亠時，則全部變量都將被選入，這時逐步回歸就變?yōu)橐话愕亩嘣€性回歸。相反，如果Q取得比較小，即E與三取

8、得比較大時，則入選的變量個數(shù)就要減少。此外，還要注意，在實際問題屮，當觀測數(shù)據(jù)樣本容量二較小時，入選變量個數(shù)匸不宜選得過大