逐步回歸PPT課件

《逐步回歸PPT課件》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。

1、第七章逐步回歸方法引言在氣象預報中，對預報量的預報常常需要從可能影響預報y的諸多因素中挑選一批關系較好的作為預報因子，應用多元線性回歸的方法建立回歸方程來做預報，但如何才能保證在已選定的一批因子中得到最優(yōu)的回歸方程呢？逐步回歸分析方法就是針對這一問題提出的一種常用方法。下面從提出這一方法的基本思路、這一方法的計算過程出發(fā)來作介紹。第一節(jié)回歸系數(shù)（預報因子）的顯著性檢驗在多元線性回歸方程的建立中，盡管最后都作了方程的統(tǒng)計檢驗，但并不意味著在p個因子中，每個因子對預報量y的影響都是重要的。需要對每個因子進行考察，若某個因子對預報量y的作用不顯著，那么在多元線性回

2、歸方程中它前面的系數(shù)就可能近似為0，因此，檢驗某一因子是否顯著等價于檢驗假設：要對作假設檢驗，自然就要尋找它的樣本統(tǒng)計量和與它有關的統(tǒng)計量的分布。因為最小二乘估計的是隨機變量的線性函數(shù)，由于這些隨機變量是遵從正態(tài)分布，則也遵從正態(tài)分布。在假設條件成立下，統(tǒng)計量遵從自由度為（1，n-p-1）的F分布,其中，為矩陣中對角線上第k個元素。確定信度以后，查表求出標準值，若，說明該因子方差貢獻顯著，保留該因子，否則可以考慮從回歸方程中剔除出去。預報因子數(shù)目增多的優(yōu)缺點：優(yōu)點：一般而言，回歸方程中包含的因子個數(shù)越多，回歸平方和就越大，殘差平方和越小，殘差方差的估計就越小

3、，預報值的置信區(qū)間就越小，方程一般也較容易通過檢驗。缺點：但因子數(shù)增多，也給方程增加了不少與預報量關系不大的因子，給預報帶來下面三個明顯缺點：逐步回歸的三種方案1、逐步剔除方案2、逐步引進方案3、雙重檢驗的逐步回歸方案逐步剔除法1、概念：從包含全部變量的回歸方程中逐步剔除不顯著的因子。2、方案：假定有4個預報因子，首先用這4個因子建立回歸方程，然后對每個因子檢查的大小。因為在做單個因子檢驗時，上式中的分母是不變的(不同因子檢驗時)，因此，只比較各因子的分子部分即可，從它們中找出最小者作F檢驗。若檢驗結(jié)果顯著，則其余因子自然顯著；若檢驗結(jié)果不顯著，則剔除這一因

4、子，然后對少一個因子的方程重復上一過程。3、因子的方差貢獻這一方案的步驟中每次僅比較統(tǒng)計量，這個統(tǒng)計量是十分重要的，常被稱為因子的方差貢獻，或稱為偏回歸平方和，記為從中選出方差貢獻最小者，記為，再作F檢驗，檢驗時使用下面的公式其中，l為檢驗時回歸方程中所含因子個數(shù)，表示回歸方程含l個變量時的殘差平方和。4、存在的三個問題1）因子的方差貢獻代表什麼樣的意義?2）為何不同時把幾個不顯著的因子從方程中剔除出去，而是要每次剔除一個?3）在過程中，每剔除一個因子就要重新計算新方程中的回歸系數(shù)，當因子較多時，計算量很大，如何解決?我們知道,回歸平方和是所有因子對預報量的

5、總貢獻。所考慮的因子越多，回歸平方和越大，若去掉一個因子，回歸平方和只會減小，不會增加。減少的數(shù)值越大，說明該因子在回歸中所起的作用越大，表明該因子越重要，可用此衡量該因子的方差貢獻大小。下面介紹這個量的大小。1設為l個變量對應的回歸平方和，為l-1個變量,即去掉第k個因子時的回歸平方和它們的差就是去掉第k個因子后，回歸平方和的減少量。這部分叫做偏回歸平方和，可以衡量每個因子在回歸中所引起的作用的大小。在剔除因子過程中，假如方差貢獻都比較小，我們只能剔除其中的最小者，而不應該全部去掉。因為這兩個因子之間可能存在密切相關關系，剔除第一個因子后，其對y的影響可能

6、很大程度轉(zhuǎn)移到第二個因子對y的影響上。所以回歸平方和不會因此減小很多。但如果同時去掉兩個因子，就會比較多的減少回歸平方和，從而影響回歸的精度。2新老回歸系數(shù)之間的關系：當剔除第k個因子后，3逐步引進方法1.概念在一批待選的因子中，考查他們對預報量y的方差貢獻，挑選所有因子中方差貢獻最大者，經(jīng)統(tǒng)計檢驗是顯著的，進入回歸方程。如從等因子中考察哪個因子方差在一元回歸方程中貢獻最大，故首先計算：其中，表示回歸方程中無任何因子時的回歸平方和，此時為0。假如在p個因子中，的方差貢獻最大，記為，則據(jù)回歸系數(shù)的檢驗公式遵從F分布的統(tǒng)計量進行檢驗：若顯著，則引進該因子。設到l

7、步，方程已有l(wèi)個因子。若考慮從p-l個因子中引進哪個變量時，還是要考察他們各個因子引進后的方差貢獻，仍選取最大者，記為，使用統(tǒng)計量作檢驗，其中表示在將要引入回歸方程中的l+1個因子時，回歸方程的殘差平方和。如此在方程中逐個地引入因子。注意：這樣得到的方程并不能保證其中所有因子都是顯著的。因為各因子之間存在相關關系，所以引入新變量后，原有的變量就不一定仍然顯著。雙重檢驗的逐步回歸方案上述兩個方案各存在一定缺點：逐步剔除計算量大；逐步引入計算量小，但不一定保證最后的方程是“最優(yōu)”的。雙重檢驗的基本思想：將因子一個個引入，引入因子的條件是該因子的方差貢獻顯著；同時

8、，每引入一個新因子，要對老因子逐個檢驗，將方差貢獻變