資源描述：
《sas講義 第三十三課逐步回歸分析》由會員上傳分享，免費在線閱讀，更多相關內容在應用文檔-天天文庫。
1、dc4f7a3b832a87f7b22131028f10c6e3.doc商務數據分析電子商務系列第三十三課逐步回歸分析一、逐步回歸分析在一個多元線性回歸模型中，并不是所有的自變量都與因變量有顯著關系，有時有些自變量的作用可以忽略。這就產生了怎樣從大量可能有關的自變量中挑選出對因變量有顯著影響的部分自變量的問題。在可能自變量的整個集合有40到60個，甚至更多的自變量的那些情況下，使用“最優(yōu)”子集算法可能并不行得通。那么，逐步產生回歸模型要含有的X變量子集的自動搜索方法，可能是有效的。逐步回歸方法可能是應用最廣泛的自動搜索方法。這是在求適度“好”的自變量子集時，同所
2、有可能回歸的方法比較，為節(jié)省計算工作量而產生的。本質上說，這種方法在每一步增加或剔除一個X變量時，產生一系列回歸模型。增加或剔除一個X變量的準則，可以等價地用誤差平方和縮減量、偏相關系數或F統計量來表示。無疑選擇自變量要靠有關專業(yè)知識，但是作為起參謀作用的數學工具，往往是不容輕視的。通常在多元線性模型中，我們首先從有關專業(yè)角度選擇有關的為數眾多的因子，然后用數學方法從中選擇適當的子集。本節(jié)介紹的逐步回歸法就是人們在實際問題中常用的，并且行之有效的方法。逐步回歸的基本思想是，將變量一個一個引入，引入變量的條件是偏回歸平方和經檢驗是顯著的，同時每引入一個新變量后，對
3、已選入的變量要進行逐個檢驗，將不顯著變量剔除，這樣保證最后所得的變量子集中的所有變量都是顯著的。這樣經若干步以后便得“最優(yōu)”變量子集。逐步回歸是這樣一種方法，使用它時每一步只有一個單獨的回歸因子引進或從當前的回歸模型中剔除。Efroymoson(1966)編的程序中，有兩個F水平，記作Fin和Fout，在每一步時，只有一個回歸因子，比如說Xi，如果剔除它可能引起RSS的減少不超過殘差均方MSE（即ESS/(N-k-1)）的Fout倍，則將它剔除；這就是在當前的回歸模型中，用來檢驗i=0的F比=是小于或等于Fout。若剔除的變量需要選擇，則就選擇使RSS減少最少的
4、那一個（或等價的選擇F比最小的）。用這種方式如果沒有變量被剔除，則開始引進一個回歸因子，比如Xj，如果引進它后使RSS的增加，至少是殘差均方的Fin倍，則將它引進。即若在當前模型加Xj項后，為了檢驗j=0的F比，F≥Fin時，則引進Xj，其次，若引進的變量需要選擇，則選擇F比最大的。程序按照上面的步驟開始擬合，當沒有回歸因子能夠引進模型時，該過程停止。二、變量選擇的方法若在回歸方程中增加自變量Xi，稱為“引入”變量Xi，將已在回歸方程中的自變量Xj從回歸方程中刪除，則稱為“剔除”變量Xj。無論引入變量或剔除變量，都要利用F檢驗，將顯著的變量引入回歸方程，而將不顯
5、著的從回歸方程中剔除。記引入變量F檢驗的臨界值為Fin（進），剔除變量F檢驗的臨界值為Fout（出），一般取Fin≥Fout，它的確定原則一般是對k個自變量的m個(m≤k)，則對顯著性水平df1=1，df2=的F分布表的值，記為F*，則取Fin=Fout=F*。一般來說也可以直接取Fin=Fout=2.0或2.5上海財經大學經濟信息管理系IS/SHUFEPage12of12dc4f7a3b832a87f7b22131028f10c6e3.doc商務數據分析電子商務系列。當然，為了回歸方程中還能夠多進入一些自變量，甚至也可以取為1.0或1.5。1.變量增加法首先對
6、全部k個自變量，分別對因變量Y建立一元回歸方程，并分別計算這k個一元回歸方程的k個回歸系數F檢驗值，記為{}，選其最大的記為=max{},若有≥Fin，則首先將X1引入回歸方程，不失一般性，設Xi就是X1。接著考慮X1分別與X2,X3,...,Xk與因變量Y二元回歸方程，對于這k－1個回歸方程中X2,...,Xk的回歸系數進行F檢驗，計算得的F值，并選其最大的F值,若≥Fin,則接著就將Xj引入回歸方程，不失一般性，設Xj就是X2。對已經引入回歸方程的變量X1和X2，如同前面的方法做下去，直至所有末被引入方程的變量的F值均小于Fin時為止。這時的回歸方程就是最終
7、選定的回歸方程。顯然，這種增加法有一定的缺點，主要是，它不能反映后來變化的情況。因為對于某個自變量，它可能開始是顯著的，即將其引入到回歸方程，但是，隨著以后其他自變量的引入，它也可能又變?yōu)椴伙@著的了，但是，也并沒有將其及時從回歸方程中剔除掉。也就是增加變量法，只考慮引入而不考慮剔除。2.變量減少法與變量增加法相反，變量減少法是首先建立全部自變量X1,X2,...,Xk對因變變量Y的回歸方程，然后對k個回歸系數進行F檢驗，記求得的F值為{}，選其最小的記為=min{},若有≤Fout，則可以考慮將自變量Xi從回歸方程中剔除掉，不妨設Xi就取為X1。再對X2,X3,
8、...,Xk對因變量Y建
