多元線性回歸模型ppt課件.ppt

《多元線性回歸模型ppt課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、§3.1多元線性回歸模型一、多元線性回歸模型二、多元線性回歸模型的基本假定一、多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，?j稱為回歸系數(shù)（regressioncoefficient）。也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:表示：各變量X值固定時(shí)Y的平均響應(yīng)。習(xí)慣上：把常數(shù)項(xiàng)（或截距項(xiàng)）看成為一虛變量的系數(shù)，該虛變量的樣本觀測(cè)值始終取1。于是：模型中解釋變量的數(shù)目為（k+1）總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為:其中?j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不

2、變的情況下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化;或者說?j給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。用來估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)為：其隨機(jī)表示式:ei稱為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)?i的近似替代。樣本回歸函數(shù)的矩陣表達(dá):或其中：二、多元線性回歸模型的基本假定假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無(wú)多重共線性）。假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性。假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān)假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布上述假設(shè)的矩陣符號(hào)表示式：假設(shè)1，n?(k+1)維

3、矩陣X是非隨機(jī)的，且X的秩?=k+1，即X滿秩。假設(shè)2，回憶線性代數(shù)中關(guān)于滿秩、線性無(wú)關(guān)!對(duì)角線說明了擾動(dòng)項(xiàng)的同方差性！對(duì)角線之外說明了擾動(dòng)項(xiàng)的序列無(wú)關(guān)性！假設(shè)4，向量?有一多維正態(tài)分布，即假設(shè)3，E(X’?)=0，即轉(zhuǎn)置黑板上推導(dǎo)！假設(shè)5，回歸模型的設(shè)定是正確的。第二節(jié)多元線性回歸模型的參數(shù)估計(jì)任務(wù)方法模型結(jié)構(gòu)參數(shù)、、、、的估計(jì)隨機(jī)誤差項(xiàng)的方差的估計(jì)普通最小二乘法一、參數(shù)的普通最小二乘估計(jì)二、參數(shù)的普通最小二乘估計(jì)量的性質(zhì)三、普通最小二乘樣本回歸函數(shù)性質(zhì)五、樣本容量問題四、隨機(jī)誤差項(xiàng)的方差的普通最小二乘估計(jì)內(nèi)容估計(jì)方法：3大類方法：OLS、ML（最大似然法）或者

4、MM（矩估計(jì)法）在經(jīng)典模型中多應(yīng)用OLS在非經(jīng)典模型中多應(yīng)用ML或者M(jìn)M在本節(jié)中，ML與MM為選學(xué)內(nèi)容多元線性回歸模型參數(shù)估計(jì)的任務(wù)：1，求結(jié)構(gòu)參數(shù)的估計(jì)量2，求得隨機(jī)干擾項(xiàng)的方差估計(jì)一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測(cè)值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：i=1,2…n根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是右列方程組的解其中最小化問題的一階條件。于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：解該（k+1）個(gè)方程組成的線性代數(shù)方程組，即可得到(k+1)個(gè)待估參數(shù)的估計(jì)值$,,,,,bjj=012L。k□正規(guī)方程組的矩陣形式即由于X’X滿秩，故有?正規(guī)方程組的另一種

5、寫法對(duì)于正規(guī)方程組于是或(*)或（**）是多元線性回歸模型正規(guī)方程組的另一種寫法。(*)(**)二、參數(shù)估計(jì)量的性質(zhì)在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)?的普通最小二乘估計(jì)具有：線性性、無(wú)偏性、有效性。同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有：漸近無(wú)偏性、漸近有效性、一致性。1、線性性其中,C=(X’X)-1X’為一僅與固定的X有關(guān)的行向量?？梢?，參數(shù)估計(jì)量是被解釋變量Y的線性組合。2、無(wú)偏性等于0，因?yàn)榻忉屪兞颗c隨機(jī)擾動(dòng)項(xiàng)不相關(guān)。這里利用了假設(shè):E(X’?)=03、有效性（最小方差性）的方差-協(xié)方差矩陣為（3-16）其中利用了和證明過程略！三、普通最小二乘樣本回歸函數(shù)

6、性質(zhì)1．樣本回歸線通過樣本均值點(diǎn)，即點(diǎn)（，，，，）滿足。樣本回歸函數(shù)。3．殘差和為零，即。2．被解釋變量的估計(jì)的均值等于被解釋變量的均值，即。4．各解釋變量與殘差的乘積之和為零，即。5．被解釋變量的估計(jì)與殘差的乘積之和為零，即。四、隨機(jī)誤差項(xiàng)的方差的普通最小二乘估計(jì)多元線性回歸模型的隨機(jī)誤差項(xiàng)的方差的普通最小二乘估計(jì)量為（3-18）是一個(gè)無(wú)偏估計(jì)量。容易看出，多元線性回歸模型的隨機(jī)誤差項(xiàng)的方差的普通最小二乘估計(jì)量，與一元線性回歸模型的隨機(jī)誤差項(xiàng)的方差的普通最小二乘估計(jì)量一致。因?yàn)樵谝辉€性回歸模型中k=1。所以，殘差平方和可用矩陣表示為（3-19）五、樣本容量問題樣

7、本容量越大，樣本觀測(cè)數(shù)據(jù)對(duì)經(jīng)濟(jì)活動(dòng)的反映越全面，從樣本觀測(cè)數(shù)據(jù)中發(fā)現(xiàn)規(guī)律的可能性就越大，計(jì)量經(jīng)濟(jì)研究的結(jié)果就越可靠。參數(shù)估計(jì)的最小樣本容量要求是例如，模型的檢驗(yàn)要求有足夠大的樣本容量，z檢驗(yàn)在n<30時(shí)不能使用，因?yàn)閚<30時(shí)構(gòu)造不出用于檢驗(yàn)的服從標(biāo)準(zhǔn)正態(tài)分布的統(tǒng)計(jì)量；t檢驗(yàn)在時(shí)才比較有效，因?yàn)闀r(shí)t分布才比較穩(wěn)定。一般經(jīng)驗(yàn)認(rèn)為，當(dāng)或者至少時(shí)，才能滿足基本要求。§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）四、參數(shù)的置信區(qū)間多元線性回歸模型的參數(shù)估計(jì)出來后，即求出樣本回歸函數(shù)后，還需進(jìn)一步對(duì)該樣本回歸