資源描述：
《逐步回歸分析.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。
1、§4.6逐步回歸分析4.6.1最優(yōu)選擇的標(biāo)準(zhǔn)最優(yōu)回歸方程的含義：（1）方程中包含所有對(duì)因變量影響顯著的變量；（2）方程中所包含的自變量要盡可能地少。設(shè)n為觀測(cè)樣本數(shù)，為所有自變量構(gòu)成的集合，為X的子集。（1）均方誤差s2最小達(dá)到最?。?）預(yù)測(cè)均方誤差最小達(dá)到最?。?）統(tǒng)計(jì)量最小準(zhǔn)則達(dá)到最小（4）AIC或BIC準(zhǔn)則或達(dá)到最?。?）修正準(zhǔn)則達(dá)到最大4.6.2選擇最優(yōu)回歸子集的方法（1）選擇最優(yōu)子集的簡(jiǎn)便方法：逐步篩選法（STEPWISE）向前引入法或前進(jìn)法（FORWARD）向后剔除法或后退法（BACKWARD）（2）計(jì)算量最大的全子集法：R2選擇法（RSQUARE）Cp選擇法（C
2、P）修正R2選擇法（ADJRSQ）。最小R2增量法（MINR）最大R2增量法（MAXR）（3）計(jì)算量適中的選擇法：4.6.3逐步回歸的基本思想與步驟基本思想：逐個(gè)引入自變量，每次引入對(duì)y影響最顯著的自變量，并對(duì)方程中的老變量逐個(gè)進(jìn)行檢驗(yàn)，把變得不顯著的變量逐個(gè)從方程中剔除，最終的回歸方程中既不漏掉對(duì)y影響顯著的變量，又不包含對(duì)y影響不顯著的變量。4.6.3.1前進(jìn)法（FORWARD）原理：事先給定挑選自變量進(jìn)入方程的顯著性水平，按自變量對(duì)因變量y的貢獻(xiàn)由大到小依次挑選自變量進(jìn)入方程，直到方程外沒(méi)有顯著的自變量可引入為止。該方法的特點(diǎn)是：自變量一旦被選入，就永遠(yuǎn)保留在模型中。圖
3、4.1逐步回歸的基本步驟步驟（1）將全部m個(gè)自變量，分別與因變量y建立一元回歸方程；（2）分別計(jì)算這m個(gè)一元回歸方程中回歸系數(shù)的檢驗(yàn)統(tǒng)計(jì)量F，記為：，取最大值，若，停止篩選；若，選入，不妨設(shè)是，進(jìn)入步驟（3）；（3）分別將自變量組，，…，與因變量y建立二元回歸方程，計(jì)算回歸方程中x2，x3，…，xm的回歸系數(shù)檢驗(yàn)統(tǒng)計(jì)量F，記為：，取其最大值，若則停止篩選，y與x1之間的回歸方程就是最優(yōu)的回歸方程；若，選進(jìn)xk2，不妨設(shè)xk2是x2，進(jìn)入步驟（4）。（4）對(duì)已經(jīng)選入模型的變量，x1，x2，如同前面的方法做下去，直到所有未被選入模型的自變量的F值都小于相應(yīng)的臨界值為止，這時(shí)的回歸
4、方程就是最優(yōu)回歸方程。前進(jìn)法的一般步驟：假設(shè)已進(jìn)行了l步篩選，并選入自變量x1，x2，…xl，現(xiàn)進(jìn)行第l+1步篩選：分別將自變量組，，…，與y建立l+1元回歸方程；回歸方程中的回歸系數(shù)檢驗(yàn)統(tǒng)計(jì)量記為：，記若，停止篩選，上一步得到的回歸方程，即為最優(yōu)的回歸方程；若，將選進(jìn)模型，進(jìn)行下一步篩選。前進(jìn)法的缺點(diǎn)：不能反映自變量選進(jìn)模型后的變化情況。4.6.3.2后退法（BACKWARD）原理：事先給定從方程中剔除自變量的顯著性水平，開(kāi)始全部自變量都在模型中，然后按自變量對(duì)y的貢獻(xiàn)由小到大依次剔除，直至方程中沒(méi)有不顯著的變量可剔除為止。該方法的特點(diǎn)是：自變量一旦被剔除，就不再進(jìn)入模型，
5、（1）建立全部自變量x1，x2，…，xm對(duì)因變量y的回歸方程，對(duì)方程中m個(gè)自變量的回歸系數(shù)b1，b2，…，bm進(jìn)行F檢驗(yàn)，相應(yīng)的F值記為：，取最小值若，沒(méi)有自變量可剔除，此時(shí)的回歸方程就是最優(yōu)的回歸方程；若，剔除xk1，不妨設(shè)xk1是xm，進(jìn)入步驟（2）。（2）建立x1，x2，…，xm-1與因變量y的回歸方程，對(duì)方程中自變量的回歸系數(shù)進(jìn)行F檢驗(yàn)，相應(yīng)的F值記為：，取最小值，若則無(wú)自變量可剔除，此時(shí)的回歸方程即最優(yōu)的回歸方程；若，將xk2從模型中剔除，不妨設(shè)xk2就是xm-1，進(jìn)入步驟（3）；（3）重復(fù)前面的做法，直至回歸方程中各變量回歸系數(shù)的F值均大于臨界值，即方程中沒(méi)有變量
6、可剔除為止，此時(shí)的回歸方程就是最優(yōu)的回歸方程。后退法的一般步驟：假設(shè)已經(jīng)進(jìn)行了l步剔除，模型中的自變量為x1，x2，…，xm-l，現(xiàn)進(jìn)行第l+1步剔除：建立x1，x2，…，xm-l對(duì)y的回歸方程，對(duì)方程中x1，x2，…，xm-l的回歸系數(shù)進(jìn)行F檢驗(yàn)，相應(yīng)的F統(tǒng)計(jì)量記為：，取最小值，若則停止篩選，y與x1，x2，…，xm-l之間的回歸方程即為最優(yōu)的回歸方程；若則剔除，不妨設(shè)為，進(jìn)行下一步篩選。后退法的缺點(diǎn)：開(kāi)始把全部自變量都引入模型，計(jì)算量大。4.6.3.3逐步篩選法原理：該方法在前進(jìn)法的基礎(chǔ)上，引進(jìn)后退法的思想。即對(duì)每一個(gè)自變量隨著其對(duì)回歸方程貢獻(xiàn)的變化，隨時(shí)地引入或剔除模型
7、，使得最終回歸方程中的變量對(duì)y的影響都是顯著的，而回歸方程外的變量對(duì)y的影響都是不顯著的，該方法即通常所說(shuō)的逐步回歸法。設(shè)y是因變量，x1，x2，…，xm是所有自變量，yi，xi1，xi2，…，xim（i＝1，2，…，n）是獨(dú)立抽取的n組樣本。設(shè)自變量被選進(jìn)模型的顯著性水平為，被剔除模型的顯著性水平為，且。逐步篩選法的步驟為：（1）計(jì)算離差矩陣S（2）逐步篩選自變量第一步篩選：①計(jì)算各自變量的貢獻(xiàn)：取最大值②對(duì)的作用是否顯著進(jìn)行統(tǒng)計(jì)檢驗(yàn)：～F（1，n-1-1）若，則結(jié)束所有自變量皆與y無(wú)關(guān)，不能建立回歸
