資源描述：
《應(yīng)用數(shù)理統(tǒng)計(jì)第5章new》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、第5章線性回歸模型第5.1節(jié)線性模型理論第5.2節(jié)一元回歸與相關(guān)分析第5.3節(jié)多元回歸分析東北大學(xué)數(shù)學(xué)系第5.1節(jié)線性模型理論5.1.1線性模型的定義定義5.1.1y是可觀察的隨機(jī)變量，x1，…，xm是可觀察的分類(lèi)或數(shù)值變量，β0，…，βk是未知參數(shù)，2ε是不可觀察隨機(jī)誤差(ε~N(0,σ))。kyf=β01++∑im(,,)x?xβεii=1稱(chēng)為是線性模型。Remark①線性模型中“線性”是針對(duì)未知參數(shù)β而言，許多表面上的非線性模型本質(zhì)也是線性的:βx×β2y=αeε，y=αx×ε，lnε~N(0,σ)
2、；而有些模型是實(shí)質(zhì)上的非線性模型：βx+2y=αeε，ε~N(0,σ)；以及Logistic模型：exp(αβ+x)y=+ε1exp(++αβx)②一些統(tǒng)計(jì)學(xué)家喜歡把線性模型表示成：Ey=β0+x1β1+…+xkβk含義是：線性模型就是一個(gè)隨機(jī)變量的數(shù)學(xué)期望具有未知參數(shù)線性結(jié)構(gòu)的統(tǒng)計(jì)模型。在這種意義下x1，…，xk很自然就被稱(chēng)為“自變量”，y也就被稱(chēng)作“因變量”。自變量與因變量關(guān)系是一種統(tǒng)計(jì)上的關(guān)系，即因變量的均值是自變量的函數(shù)，而決不能認(rèn)為因變量是自變量的函數(shù)。③把模型Ey=β0+x1β1+…+xkβk
3、改寫(xiě)成：y=β0+x1β1+…+xkβk+ε，Eε=0為方便處理，進(jìn)一步假定ε~N(0,σ2)。要處理這k+1個(gè)未知參數(shù)β0，…，βk，需要至少做n次獨(dú)立試驗(yàn)(n＞k+1)；這些試驗(yàn)都在不同自變量取值下進(jìn)行，其它條件都保持不變，最后寫(xiě)成矩陣的表達(dá)式，就是：Y=Xβ+ε，Eε=0Y=Xβ+ε，Eε=0這里Y=(y1，…，yn)T表示??1.xx..111k可觀察的因變量；??1.xx..TX=??212kβ=(β0，…，βk)表示??......待估計(jì)或檢驗(yàn)的未知參數(shù)；????1.xx..，…，T??nn1
4、kε=(ε1εn)是隨機(jī)誤差，一般假定2εi~N(0,σ)。表示自變量，n＞k+15.1.2線性模型參數(shù)的估計(jì)Y=Xβ+ε1.未知參數(shù)β的估計(jì)采用最小二乘的標(biāo)準(zhǔn)，即尋找β?，使得：
5、
6、Y-X
7、
8、β?2=inf
9、
10、Y-Xβ
11、
12、2對(duì)所有β∈Rk+1這樣得到的β的估計(jì)稱(chēng)為是最小二乘估計(jì)(LSE)LSE的求解思路：平方和分解
13、
14、Y–Xβ
15、
16、2=
17、
18、Y–X+X(–β?β?β)
19、
20、2=
21、
22、Y–X
23、
24、β?2+
25、
26、X(–β?β)
27、
28、2+2(–β?β)TXT(Y–X)β?因此要使得對(duì)一切β∈Rk+1都有
29、
30、Y–Xβ
31、
32、2≥
33、
34、
35、Y–X
36、
37、β?2，充分必要條件是：(–β?β)TXT(Y–X)=0β?對(duì)一切β∈Rk+1都成立由于β是Rk+1中任意一個(gè)向量，所以XT(Y–X)β?必須是一個(gè)k+1維零向量，即：(XTX)=Xβ?TY(正規(guī)方程)如果X是滿(mǎn)秩矩陣即rk(X)=k+1時(shí)，正規(guī)方程的解：β?=(XTX)-1XTY≡S-1XTY就稱(chēng)為是線性模型Y=Xβ+ε中參數(shù)向量β的最小二乘估計(jì)(LSE)Xβ?稱(chēng)為是經(jīng)驗(yàn)回歸函數(shù)，Y=Xβ?是經(jīng)驗(yàn)回歸方程。2.誤差方差2σ的估計(jì)把線性模型Y=Xβ+ε改寫(xiě)成如下形式：yi=β0+β1xi1+
38、…+βkxik+εi，1≤i≤n定義“殘差”(Residual)ei=yi--β?β?xi1-…-β?xik，1≤i≤n01k作為隨機(jī)誤差εi的“估計(jì)”，則殘差平方和：Q=e2+e2+…+e2e12n=
39、
40、Y-X
41、
42、β?2=YT(I-XS–1XT)Yn可以作為2σ的估計(jì)(注意需要修正！)定理5.1.1線性模型的最小二乘估計(jì)(1)對(duì)于模型Y=Xβ+ε，β的LSE是β?=S-1XTY(2)σ2的LSE是σ?2=————Y1T(I-XS–1XT)Ynn-k-1思考既然n個(gè)觀察數(shù)據(jù)y1，…，yn的方差都是σ2，為
43、什么不使用這組數(shù)據(jù)的樣本方差,而是要用殘差平方和修正以后去估計(jì)2σ？最小二乘估計(jì)的矩陣代數(shù)含義考慮矩陣X的k+1個(gè)n維列向量生成的Rn中的線性子空間μ(X)，不難證明μ(X)=μ(XXT)。由于XS–1XT是一個(gè)對(duì)稱(chēng)、冪等的n階方陣，即它是一個(gè)正投影陣，恰好是μ(X)的投影矩陣；而In–XS-1XT是μ(X)的正交子空間μ⊥(X)的投影矩陣，因此Xβ?是Y到子空間μ(X)中的投影，2⊥σ的LSE只和Y在μ(X)的投影向量有關(guān)。μ⊥(X)Yμ(X)3.最小二乘估計(jì)的無(wú)偏性質(zhì)引理5.1.2隨機(jī)向量的期望與方差
44、公式(1)如果Y是n維隨機(jī)向量，A是n階對(duì)稱(chēng)矩陣則E(YTAY)=(EY)TA(EY)+tr{A[Var(Y)]}；(2)如果Y是n維隨機(jī)向量，B是m×n階矩陣則Var(BY)=B[Var(Y)]BTRemarkVar(Y)是Y的協(xié)方差矩陣(Cov(yi,yj))n×n；跡(Trace)具有如下性質(zhì)：tr(AB)=tr(BA)，tr(A-B)=tr(A)-tr(B)注意到線性模型的形式Y(jié)=Xβ+ε，因此EY=Xβ，Var(Y)
