《多元線性回歸 》ppt課件

《《多元線性回歸 》ppt課件》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、高等學(xué)校經(jīng)濟(jì)學(xué)類核心課程計(jì)量經(jīng)濟(jì)學(xué)Econometrics云南財(cái)經(jīng)大學(xué)數(shù)量經(jīng)濟(jì)系第三章多元線性回歸模型§3.1多元線性回歸模型§3.2多元線性回歸模型的參數(shù)估計(jì)§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)§3.4多元線性回歸模型的預(yù)測(cè)§3.5可線性化的多元非線性回歸模型§3.6受約束回歸§3.1多元線性回歸模型一、模型形式二、基本假定一、模型形式注意：（1）解釋變量X的個(gè)數(shù)：k回歸系數(shù)?j的個(gè)數(shù)：k＋1（2）?j：偏回歸系數(shù)，表示了Xj對(duì)Y的凈影響（3）X的第一個(gè)下標(biāo)j區(qū)分變量（j＝1，2，……，k）第二個(gè)下標(biāo)i區(qū)分觀測(cè)（i＝1，2，……n）總體回歸

2、函數(shù)（PRF）樣本回歸函數(shù)（SRF）樣本回歸模型（SRM）其中：ei稱為殘差(residuals)，可看成是隨機(jī)誤差項(xiàng)?i的近似替代。2、于是，總體回歸模型可以表示為：總體回歸模型的矩陣表示1、總體回歸模型表示了n個(gè)隨機(jī)方程，引入如下矩陣記號(hào)：2、于是，樣本回歸模型和函數(shù)可以表示為：樣本回歸模型和函數(shù)的矩陣表示1、同理，采用如下矩陣記號(hào)：二、多元線性回歸模型的基本假設(shè)?假設(shè)1：解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無(wú)多重共線性）。?假設(shè)2：隨機(jī)誤差項(xiàng)?具有零均值、同方差和無(wú)序列相關(guān)性：E(?i)=0Var(?i)=?2i=1,2,

3、…,NCov(?i,?j)=0i≠ji,j=1,2,…,N?假設(shè)3：隨機(jī)誤差項(xiàng)?與解釋變量X之間不相關(guān)：Cov(Xji,?i)=0i=1,2,…,N?假設(shè)4：?服從零均值、同方差、零協(xié)方差的正態(tài)分布?i~N(0,?2)i=1,2,…,N基本假設(shè)的矩陣表示假設(shè)1:n?(k+1)矩陣X是非隨機(jī)的，且X的秩?=k+1，即X列滿秩。假設(shè)2:假設(shè)4:向量?有一多維正態(tài)分布，即暗含假設(shè)假設(shè)5：樣本容量趨于無(wú)窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n?∞時(shí)，假設(shè)6：回歸模型是正確設(shè)定的或其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的n?

4、k階矩陣§3.2多元線性回歸模型的參數(shù)估計(jì)一、普通最小二乘估計(jì)二、參數(shù)估計(jì)量的性質(zhì)三、樣本容量問(wèn)題參數(shù)估計(jì)的任務(wù)和方法1、估計(jì)目標(biāo)：回歸系數(shù)βj、隨機(jī)誤差項(xiàng)方差б22、估計(jì)方法：OLS、ML或者M(jìn)M*OLS：普通最小二乘估計(jì)*ML：最大似然估計(jì)*MM：矩估計(jì)一、普通最小二乘估計(jì)基本思想：殘差平方和最小基于取得最小值的條件獲得系數(shù)估計(jì)）殘差平方和：取得最小值的條件：正規(guī)方程組：解此（k＋1）個(gè)方程組成的正規(guī)方程組，即可求得（k+1)個(gè)未知參數(shù)βj的估計(jì)。最小二乘估計(jì)的矩陣表示1、正規(guī)方程組的矩陣形式2、由于X’X滿秩(其逆矩陣存在），故有＃O

5、LSE的矩陣估計(jì)過(guò)程矩陣有關(guān)定理殘差平方和的矩陣表示為：#參數(shù)估計(jì)的實(shí)例例3.2.1：在例2.1.1的家庭收入-消費(fèi)支出例中，誤差方差?2的估計(jì)1、基于OLS下，隨機(jī)誤差項(xiàng)?的方差的無(wú)偏估計(jì)量為注意：分母的形式：n-k-1=n-(k+1)。k：解釋變量X的個(gè)數(shù)；k+1：回歸系數(shù)的個(gè)數(shù)2、稱為估計(jì)標(biāo)準(zhǔn)誤或者回歸標(biāo)準(zhǔn)誤（S.Eofregression）*最大似然估計(jì)*（MaximumLikelihoodEstimate）1、基本原理：樣本觀測(cè)值出現(xiàn)的概率最大。2、似然函數(shù)：3、最大似然估計(jì)MLE：參數(shù)的MLE與參數(shù)的OLSE相同*矩估計(jì)*（

6、MomentMethod，MM）1、OLS估計(jì)是通過(guò)得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組并對(duì)它進(jìn)行求解而完成的。2、該正規(guī)方程組可以從另外一種思路來(lái)導(dǎo)出:兩側(cè)求期望:矩條件*矩條件和矩估計(jì)量*3、由此得到正規(guī)方程組：解此正規(guī)方程組即得參數(shù)的MM估計(jì)量。1、稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。2、如果隨機(jī)抽出原總體的一個(gè)樣本，估計(jì)出的樣本回歸方程：能夠近似代表總體回歸方程的話，則應(yīng)成立：MM估計(jì)量與OLS、ML估計(jì)量等價(jià)。*關(guān)于矩估計(jì)*矩方法是工具變量方法(InstrumentalVariables,IV)和廣

7、義矩估計(jì)方法(GeneralizedMomentMethod,GMM)的基礎(chǔ)在矩方法中關(guān)鍵是利用了：E(X’?)=0如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到1個(gè)工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。如果存在＞k+1個(gè)變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組包含＞k+1方程的矩條件。這就是GMM。OLS只是GMM的一個(gè)特例二、最小二乘估計(jì)量的性質(zhì)高斯—馬爾可夫定理(Gauss-Markovtheorem):在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無(wú)偏估計(jì)量，即最佳線性無(wú)偏估計(jì)量（BLUE）。1、線性：其中,C=(X’X)

8、-1X’為一僅與固定的X有關(guān)的行向量2、無(wú)偏性:這里利用了假設(shè):E(X’?)=03、有效性:其中利用了:參數(shù)估計(jì)量的概率分布1、由參數(shù)估計(jì)量的上述性質(zhì)和基本假設(shè)，易知：線性性＋基