多元線性回歸模型.ppt

《多元線性回歸模型.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、第三章多元線性回歸模型多元線性回歸模型及其基本假設(shè)多元線性回歸模型的估計問題經(jīng)典假設(shè)滿足時的推斷問題多元線性回歸模型的延伸受約束回歸一、多元線性回歸模型及其基本假設(shè)Leslie土地價格例：1968年加州某市想從Leslie公司征一塊地建公園，為了確定一個公平的市場價格，希望做一個回歸分析，以便了解有哪些因素影響這些土地的價值。變量如下：Price:千美元/畝County:土地所處地區(qū)，0-SanMateo,1-SantaClaraSize:土地的規(guī)模，畝Elevation：海拔高度，英尺Sewer:據(jù)最近排水系統(tǒng)的距離，英尺Date:交易日期，從現(xiàn)

2、在起倒數(shù)，月Flood:潮汐是否造成洪水，1-是，0-否Distance:到Leslie公司的距離，英里（距公司越遠，到洛杉磯越近）為什么用對數(shù)？用對數(shù)后系數(shù)的含義有什么不同1.多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，?j，j=1,2,…k稱為偏回歸系數(shù)。也被稱為總體回歸函數(shù)的隨機表達形式。它的非隨機表達式為:表示：各變量X值給定時Y的平均響應。習慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。于是：模型中解釋變量的數(shù)目為（k+1）總體回歸模型

3、n個隨機方程的矩陣表達式為:?j被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化;或者說?j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。其中樣本觀測值:ei稱為殘差(residuals)，可看成是對總體回歸函數(shù)中隨機擾動項?i的估計。樣本回歸函數(shù)的矩陣表達:或其中：用來估計總體回歸函數(shù)的樣本回歸函數(shù)為：2.多元回歸模型的假設(shè)假設(shè)1：x1，x2，…xk是非隨機的。假設(shè)2：E(?i)=0i=1,2,…n假設(shè)3：Var(?i)=?2(E(?i?i)=?2)假設(shè)4：無序列相關(guān)，E(?

4、i?j)=0假設(shè)5：x諸變量間無準確的線性關(guān)系，即：無多重共線性。數(shù)學表示為：不存在一組不全為零的數(shù)?1、?2、…?k，使得：?1x1i+?2x2i+…+?kxki=0假設(shè)6：?i?N(0,?2)關(guān)于多重共線性的進一步說明如果存在一組不全為零的數(shù)?1、?2、…?k，使得：?1x1i+?2x2i+…+?kxki=0不妨設(shè)?1?0，則上式可變?yōu)椋簒1i=-(?2x2i+…+?kxki)/?1稱解釋變量之間存在完全共線性，此時，某個解釋變量可以寫為其它解釋變量的線性組合。如果，會不會破壞無多重共線假定？不會，因為這兩個變量的關(guān)系是非線性的??！經(jīng)典假設(shè)的矩

5、陣表示假設(shè)2：假設(shè)3和4：假設(shè)5：矩陣X的秩等于回歸參數(shù)的個數(shù)（或解釋變量個數(shù)加1），R(X)=k+1，n>k+1二、多元回歸模型的估計問題偏回歸系數(shù)的OLS估計偏回歸系數(shù)的含義復判定系數(shù)1.偏回歸系數(shù)的OLS估計二元回歸的樣本回歸函數(shù)為：OLS估計：極值條件正規(guī)方程解此聯(lián)立方程既可求得參數(shù)估計值求解正規(guī)方程組可得：OLS估計量的方差和標準誤自變量相關(guān)程度越高，參數(shù)估計量的方差越大。當x2和x3完全共線時，方差趨于無窮。對有k個解釋變量的多元回歸模型對于隨機抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有：i=1,2…n根據(jù)最小二乘原理，參數(shù)

6、估計值應該是右列方程組的解于是得到關(guān)于待估參數(shù)的正規(guī)方程組：解該（k+1）個方程組成的線性代數(shù)方程組，即可得到(k+1)個待估參數(shù)的估計值$,,,,,bjj=012L。k將上述過程用矩陣表示如下：根據(jù)極值條件得到：得到：于是最小二乘估計量為：——正規(guī)方程最小二乘估計量的方差-協(xié)方差陣為：?隨機誤差項?的方差?的無偏估計可以證明，隨機誤差項?的方差的無偏估計量為：多元回歸最小二乘估計量的性質(zhì)在滿足基本假設(shè)的情況下，其偏回歸系數(shù)?的普通最小二乘估計仍具有：線性性、無偏性、有效性。2.偏回歸系數(shù)的含義二元回歸模型為：yi=?0+?1x1i+?2x2i+?

7、i偏回歸系數(shù)告訴我們什么偏回歸系數(shù)表示了其他因素不變時，相應解釋變量對因變量的“凈影響”。例1“期望擴充”菲利普斯曲線菲利普斯曲線表明：通貨膨脹率和失業(yè)率是反向變化的。期望擴充菲利普斯曲線增加了預期通貨膨脹率的影響。1970-1982年美國真實通貨膨脹率y（%）、失業(yè)率x1（%）和預期通貨膨脹率x2（%）數(shù)據(jù)如表，作菲利普斯曲線。原始菲利普斯曲線：yt=b0+b10x1t+?1t期望擴充菲利普斯曲線:yt=?0+?1x1t+?2x2t+?tb10、?1的經(jīng)濟涵義、先驗符號？估計值為正，失業(yè)率與通脹率同方向？例1“期望擴充”菲利普斯曲線估計結(jié)果原始菲

8、利普斯曲線期望擴充菲利普斯曲線符號正確，統(tǒng)計顯著。統(tǒng)計上不顯著異于0設(shè)定偏誤b10??1?E(b10)=?1+?2b12b