資源描述：
《應用數(shù)理統(tǒng)計第5章new》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第5章線性回歸模型第5.1節(jié)線性模型理論第5.2節(jié)一元回歸與相關(guān)分析第5.3節(jié)多元回歸分析東北大學數(shù)學系第5.1節(jié)線性模型理論5.1.1線性模型的定義定義5.1.1y是可觀察的隨機變量，x1，…，xm是可觀察的分類或數(shù)值變量，β0，…，βk是未知參數(shù)，2ε是不可觀察隨機誤差(ε~N(0,σ))。kyf=β01++∑im(,,)x?xβεii=1稱為是線性模型。Remark①線性模型中“線性”是針對未知參數(shù)β而言，許多表面上的非線性模型本質(zhì)也是線性的:βx×β2y=αeε，y=αx×ε，lnε~N(0,σ)
2、；而有些模型是實質(zhì)上的非線性模型：βx+2y=αeε，ε~N(0,σ)；以及Logistic模型：exp(αβ+x)y=+ε1exp(++αβx)②一些統(tǒng)計學家喜歡把線性模型表示成：Ey=β0+x1β1+…+xkβk含義是：線性模型就是一個隨機變量的數(shù)學期望具有未知參數(shù)線性結(jié)構(gòu)的統(tǒng)計模型。在這種意義下x1，…，xk很自然就被稱為“自變量”，y也就被稱作“因變量”。自變量與因變量關(guān)系是一種統(tǒng)計上的關(guān)系，即因變量的均值是自變量的函數(shù)，而決不能認為因變量是自變量的函數(shù)。③把模型Ey=β0+x1β1+…+xkβk
3、改寫成：y=β0+x1β1+…+xkβk+ε，Eε=0為方便處理，進一步假定ε~N(0,σ2)。要處理這k+1個未知參數(shù)β0，…，βk，需要至少做n次獨立試驗(n＞k+1)；這些試驗都在不同自變量取值下進行，其它條件都保持不變，最后寫成矩陣的表達式，就是：Y=Xβ+ε，Eε=0Y=Xβ+ε，Eε=0這里Y=(y1，…，yn)T表示??1.xx..111k可觀察的因變量；??1.xx..TX=??212kβ=(β0，…，βk)表示??......待估計或檢驗的未知參數(shù)；????1.xx..，…，T??nn1
4、kε=(ε1εn)是隨機誤差，一般假定2εi~N(0,σ)。表示自變量，n＞k+15.1.2線性模型參數(shù)的估計Y=Xβ+ε1.未知參數(shù)β的估計采用最小二乘的標準，即尋找β?，使得：
5、
6、Y-X
7、
8、β?2=inf
9、
10、Y-Xβ
11、
12、2對所有β∈Rk+1這樣得到的β的估計稱為是最小二乘估計(LSE)LSE的求解思路：平方和分解
13、
14、Y–Xβ
15、
16、2=
17、
18、Y–X+X(–β?β?β)
19、
20、2=
21、
22、Y–X
23、
24、β?2+
25、
26、X(–β?β)
27、
28、2+2(–β?β)TXT(Y–X)β?因此要使得對一切β∈Rk+1都有
29、
30、Y–Xβ
31、
32、2≥
33、
34、
35、Y–X
36、
37、β?2，充分必要條件是：(–β?β)TXT(Y–X)=0β?對一切β∈Rk+1都成立由于β是Rk+1中任意一個向量，所以XT(Y–X)β?必須是一個k+1維零向量，即：(XTX)=Xβ?TY(正規(guī)方程)如果X是滿秩矩陣即rk(X)=k+1時，正規(guī)方程的解：β?=(XTX)-1XTY≡S-1XTY就稱為是線性模型Y=Xβ+ε中參數(shù)向量β的最小二乘估計(LSE)Xβ?稱為是經(jīng)驗回歸函數(shù)，Y=Xβ?是經(jīng)驗回歸方程。2.誤差方差2σ的估計把線性模型Y=Xβ+ε改寫成如下形式：yi=β0+β1xi1+
38、…+βkxik+εi，1≤i≤n定義“殘差”(Residual)ei=yi--β?β?xi1-…-β?xik，1≤i≤n01k作為隨機誤差εi的“估計”，則殘差平方和：Q=e2+e2+…+e2e12n=
39、
40、Y-X
41、
42、β?2=YT(I-XS–1XT)Yn可以作為2σ的估計(注意需要修正！)定理5.1.1線性模型的最小二乘估計(1)對于模型Y=Xβ+ε，β的LSE是β?=S-1XTY(2)σ2的LSE是σ?2=————Y1T(I-XS–1XT)Ynn-k-1思考既然n個觀察數(shù)據(jù)y1，…，yn的方差都是σ2，為
43、什么不使用這組數(shù)據(jù)的樣本方差,而是要用殘差平方和修正以后去估計2σ？最小二乘估計的矩陣代數(shù)含義考慮矩陣X的k+1個n維列向量生成的Rn中的線性子空間μ(X)，不難證明μ(X)=μ(XXT)。由于XS–1XT是一個對稱、冪等的n階方陣，即它是一個正投影陣，恰好是μ(X)的投影矩陣；而In–XS-1XT是μ(X)的正交子空間μ⊥(X)的投影矩陣，因此Xβ?是Y到子空間μ(X)中的投影，2⊥σ的LSE只和Y在μ(X)的投影向量有關(guān)。μ⊥(X)Yμ(X)3.最小二乘估計的無偏性質(zhì)引理5.1.2隨機向量的期望與方差
44、公式(1)如果Y是n維隨機向量，A是n階對稱矩陣則E(YTAY)=(EY)TA(EY)+tr{A[Var(Y)]}；(2)如果Y是n維隨機向量，B是m×n階矩陣則Var(BY)=B[Var(Y)]BTRemarkVar(Y)是Y的協(xié)方差矩陣(Cov(yi,yj))n×n；跡(Trace)具有如下性質(zhì)：tr(AB)=tr(BA)，tr(A-B)=tr(A)-tr(B)注意到線性模型的形式Y(jié)=Xβ+ε，因此EY=Xβ，Var(Y)
