回歸分析概要多元線性回歸模型

《回歸分析概要多元線性回歸模型》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。

1、第二章回歸分析概要第五節(jié)多元線性回歸分析一模型的建立與假定條件在一元線性回歸模型中，我們只討論了包含一個解釋變量的一元線性回歸模型，也就是假定被解釋變量只受一個因素的影響。但是在現(xiàn)實生活中，一個被解釋變量往往受到多個因素的影響。例如，商品的消費需求，不但受商品本身的價格影響，還受到消費者的偏好、收入水平、替代品價格、互補品價格、對商品價格的預測以及消費者的數(shù)量等諸多因素的影響。在分析這些問題的時候，僅利用一元線性回歸模型已經(jīng)不能夠反映各變量間的真實關(guān)系，因此，需要借助多元線性回歸模型來進行量化分析。1.多元線性回歸模型的基本概念如

2、果一個被解釋變量（因變量）有個解釋變量（自變量），，同時，不僅是的線性函數(shù)，而且是參數(shù)和（通常未知）的線性函數(shù)，隨即誤差項為，那么多元線性回歸模型可以表示為：這里為總體多元線性回歸方程，簡稱總體回歸方程。其中，k表示解釋變量個數(shù)，稱為截距項，是總體回歸系數(shù)。表示在其他自變量保持不變的情況下，自變量變動一個單位所引起的因變量Y平均變動的數(shù)量，因而也稱之為偏回歸系數(shù)。當給定一個樣本時，上述模型可以表示為：此時，與已知，與未知。其相應(yīng)的矩陣表達式為：可以簡化為：--總體回歸模型的簡化形式。1.假定條件與一元線性回歸模型的基本假定相似，為

3、保證得到最優(yōu)估計量，多元線性回歸模型應(yīng)滿足以下假定條件：假定1隨機誤差項滿足均值為零，其方差相同且為有限值。假定2隨機誤差項之間相互獨立，無自相關(guān)。假定3解釋變量，之間線性無關(guān)，即解釋變量的樣本觀測值矩陣式滿秩矩陣，否則稱解釋變量之間存在多重共線性（與課本假定7合并）。假定4解釋變量，是確定性變量，與誤差項彼此之間相互獨立。假定5解釋變量是非隨機變量，且當，Q是一個有限值的非奇異矩陣。假定6隨機誤差項服從正態(tài)分布。假定7回歸模型是正確設(shè)計的。二、最小二乘法根據(jù)最小二乘法的原則，總體回歸模型可以推導為樣本回歸模型，即：其中，是的估計

4、值列向量，稱為殘差列向量。因為，，所以，也是Y的線性組合。關(guān)于多元線性回歸模型中樣本容量的問題：（1）最小樣本容量在多元線性回歸模型中，樣本容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項），這就是最小樣本容量，即：。（2）滿足基本要求的樣本容量一般經(jīng)驗認為，當或者至少時，才能說滿足模型估計的基本要求。三、多元可決系數(shù)與調(diào)整后的多元可決系數(shù)類似于一元線性回歸模型的情形，我們對估計的回歸方程關(guān)于樣本觀測值的擬合優(yōu)度進行檢驗，而檢驗的統(tǒng)計量是可決系數(shù)。因是多元回歸，樣本可決系數(shù)就稱為多元可決系數(shù)。對于多元線性回歸模型的情形，一元線性回歸

5、模型的總離差平方和的分解公式依然成立，即：TSS=ESS+RSS其中，TSS的自由度為n-1，n表示樣本容量，ESS的自由度為k，k表示自變量的個數(shù)，RSS的自由度為n-k-1。我們在模型應(yīng)用中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，往往會增大。這是因為殘差平方和往往隨著解釋變量個數(shù)的增加而減少，至少不會增加。這就給人一個錯覺：要使模型擬合得好，只要增加解釋變量就可以了。但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的的增大與擬合好壞無關(guān)，因此，在多元線性回歸模型之間比較擬合優(yōu)度，就不是一個合適的指標，必須加以調(diào)整。在樣本容量一定的情況

6、下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是將殘差平方和與總離差平方和分別處以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響。定義調(diào)整的多元可決系數(shù)如下：當模型中增加一個自變量，如果RSS/(n-k-1)變小，因而使增大，便可認為這個自變量對因變量有顯著影響，應(yīng)該放入模型中，否則，應(yīng)予拋棄。在樣本容量一定的情況下，具有如下性質(zhì)：（1）若（2）可能出現(xiàn)負值。如時，。顯然，負的擬合優(yōu)度沒有任何意義，在此情況下，取在實際中，或越大，模型擬合得就越好，但擬合優(yōu)度不是評價模型優(yōu)劣的唯一標準。因此，我們不能僅根據(jù)或的大小來選擇模型。補充

7、知識：赤池信息準則和施瓦茨信息準則為了比較所含解釋變量個數(shù)不同的多元線性回歸模型的擬合優(yōu)度，常用的標準還有赤池信息準則（AkaikeInformationCriterion，AIC）和施瓦茨信息準則（SchwarzCriterion，SC），其定義分別為：這兩個準則均要求僅當所增加的解釋變量能夠減少AIC值或SC值時才能在原模型中增加該解釋變量。顯然，與調(diào)整的可決系數(shù)相仿，如果增加的解釋變量沒有解釋能力，則對殘差平方和e，e的減小沒有多大幫助，但增加了待估參數(shù)的個數(shù)，這時可能到時AIC或SC的值增加。四、統(tǒng)計檢驗1.F檢驗為了從總

8、體上檢驗模型中被解釋變量與解釋變量之間的線性關(guān)系是否顯著成立，檢驗的原假設(shè)為：（k表示方程中回歸系數(shù)的個數(shù)，也可以稱為自變量的個數(shù)）若成立，則模型中被解釋變量與解釋變量之間不存在顯著的線性關(guān)系。備擇解釋為：不全為零。若原假設(shè)成立，則檢驗統(tǒng)計量：這是