資源描述：
《02-多元線性回歸模型》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、1.3多元線性回歸與最小二乘估計(jì)1．假定條件、最小二乘估計(jì)量和高斯—馬爾可夫定理多元線性回歸模型：yt=b0+b1xt1+b2xt2+…+bk-1xtk-1+ut(1.1)其中yt是被解釋變量（因變量），xtj是解釋變量（自變量），ut是隨機(jī)誤差項(xiàng)，bi,i=0,1,…,k-1是回歸參數(shù)（通常未知）。對經(jīng)濟(jì)問題的實(shí)際意義：yt與xtj存在線性關(guān)系，xtj,j=0,1,…,k-1,是yt的重要解釋變量。ut代表眾多影響yt變化的微小因素。使yt的變化偏離了E(yt)=b0+b1xt1+b2xt2+…+bk-1xtk-1決定的k維空
2、間平面。當(dāng)給定一個(gè)樣本（yt,xt1,xt2,…,xtk-1）,t=1,2,…,T時(shí),上述模型表示為y1=b0+b1x11+b2x12+…+bk-1x1k-1+u1,經(jīng)濟(jì)意義：xtj是yt的重要解釋變量。y2=b0+b1x21+b2x22+…+bk-1x2k-1+u2,代數(shù)意義：yt與xtj存在線性關(guān)系?！?.幾何意義：yt表示一個(gè)多維平面。yT=b0+b1xT1+b2xT2+…+bk-1xTk-1+uT(1.2)此時(shí)yt與xti已知，bj與ut未知。(1.3)Y=Xb+u,(1.4)為保證得到最優(yōu)估計(jì)量，回歸模型（1.4）
3、應(yīng)滿足如下假定條件。假定⑴隨機(jī)誤差項(xiàng)ut是非自相關(guān)的，每一誤差項(xiàng)都滿足均值為零，方差s2相同且為有限值，即 E(u)=0=,Var(u)=E(')=s2I=s2假定⑵解釋變量與誤差項(xiàng)相互獨(dú)立，即E(X'u)=0假定⑶解釋變量之間線性無關(guān)?！ k(X'X)=rk(X)=k其中rk(×)表示矩陣的秩。假定⑷解釋變量是非隨機(jī)的，且當(dāng)T→∞時(shí)T–1X'X→Q其中Q是一個(gè)有限值的非退化矩陣。最小二乘(OLS)法的原理是求殘差（誤差項(xiàng)的估計(jì)值）平方和最小。代數(shù)上是求極值問題。13minS=(Y-X)'(Y-X)=Y'Y-'X'Y-Y'X
4、+'X'X=Y'Y-2'X'Y+'X'X(1.5)因?yàn)閅'X是一個(gè)標(biāo)量，所以有Y'X='X'Y。(1.5)的一階條件為：=-2X'Y+2X'X=0(1.6)化簡得X'Y=X'X因?yàn)?X'X)是一個(gè)非退化矩陣（見假定⑶），所以有=(X'X)-1X'Y（1.7）因?yàn)閄的元素是非隨機(jī)的，(X'X)-1X是一個(gè)常數(shù)矩陣，則是Y的線性組合，為線性估計(jì)量。求出，估計(jì)的回歸模型寫為Y=X+(1.9)其中=(…)'是b的估計(jì)值列向量，=(Y-X)稱為殘差列向量。因?yàn)?Y-X=Y-X(X'X)-1X'Y=[I-X(X'X)-1X']Y(1.10)
5、所以也是Y的線性組合。的期望和方差是E()=E[(X'X)-1X'Y]=E[(X'X)-1X'(Xb+u)]=b+(X'X)-1X'E(u)=b(1.11)Var()=E[(–b)(–b)']=E[(X'X)-1X'uu'X(X'X)-1]=E[(X'X)-1X's2IX(X'X)-1]=s2(X'X)-1(1.12)高斯—馬爾可夫定理：若前述假定條件成立，OLS估計(jì)量是最佳線性無偏估計(jì)量。具有無偏性。具有最小方差特性。具有一致性，漸近無偏性和漸近有效性。2.殘差的方差s2='/(T-k)(1.13)s2是s2的無偏估計(jì)量，E(
6、s2)=s2。的估計(jì)的方差協(xié)方差矩陣是()=s2(X'X)-1(1.14)3.多重確定系數(shù)（多重可決系數(shù)）Y=X+=+(1.15)總平方和13SST====Y'Y-T,(1.16)其中是yt的樣本平均數(shù)，定義為=。同理，回歸平方和為SSR=='-T(1.17)其中的定義同上。殘差平方和為SSE==='(1.18)則有如下關(guān)系存在，SST=SSR+SSE(1.19)R2=(1.20)顯然有0￡R2￡1。R2?1，擬合優(yōu)度越好。4.調(diào)整的多重確定系數(shù)當(dāng)解釋變量的個(gè)數(shù)增加時(shí)，通常R2不下降，而是上升。為調(diào)整因自由度減小帶來的損失，又定
7、義調(diào)整的多重確定系數(shù)如下：=1-=1-(1.21)5.OLS估計(jì)量的分布若u~N(0,s2I)，則每個(gè)ut都服從正態(tài)分布。于是有Y~N(Xb,s2I)(1.22)因也是u的線性組合（見公式1.7），依據(jù)（1.11）和（1.12）有~N(b,s2(X'X)-1)(1.23)6.方差分析與F檢驗(yàn)與SST相對應(yīng)，自由度T-1也被分解為兩部分，（T-1）=(k-1)+(T-k)(1.24)回歸均方定義為MSR=，誤差均方定義為MSE=表1.1方差分析表方差來源平方和自由度均方回歸SSR='-T2k-1MSR=SSR/(k-1)誤差SSE
8、='T-kMSE=SSE/(T-k)總和SST=Y'Y-T2T-113H0:b1=b2=…=bk-1=0;H1:bj不全為零F==~F(k-1,T-k)(1.25)設(shè)檢驗(yàn)水平為a，則檢驗(yàn)規(guī)則是，若F￡Fa(k-1,T-k)，接受H0；若F>Fa(k-1,T-k)
