資源描述：
《多元線性回歸分析的基本思想和方法》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第一節(jié)引言???在第一章我們討論了因變量y只與一個(gè)自變量x有關(guān)的一元線性回歸問題。但在實(shí)際中我們常常會遇到因變量y與多個(gè)自變量有關(guān)的情況，這就向我們提出了多元回歸分析的問題。多元回歸中最簡單的是多元線性回歸。多元線性回歸分析的基本思想和方法與一元線性回歸分析是相同的，即使殘差平方和Q達(dá)到最小值。但是，由于多元線性回歸分析涉及多個(gè)變量之間的相關(guān)關(guān)系，使問題變得更加復(fù)雜。???假設(shè)隨機(jī)變量y與p個(gè)自變量之間存在著線性相關(guān)關(guān)系，實(shí)際樣本量為n,其第i次觀測值為???則其n次觀測值可寫為如下形式：????（2-2-1）???其中
2、是未知參數(shù)，是p個(gè)可以精確測量并可控制的一般變量,是隨機(jī)誤差。和一元線性回歸分析一樣，我們假定是相互獨(dú)立且服從同一正態(tài)分布N(0,)的隨機(jī)變量。???若將方程組(2-2-1)用矩陣表示，則有（2-2-2）???式中?多元線性回歸分析的首要任務(wù)就是通過尋求的估計(jì)值b，建立多元線性回歸方程（2-2-3）???來描述多元線性模型????（2-2-4）???本章主要介紹以下內(nèi)容：用最小二乘原理估計(jì)和，對回歸方程和回歸系數(shù)的顯著性進(jìn)行檢驗(yàn)，利用回歸方程進(jìn)行予報(bào)和控制，以及在估計(jì)的過程中解線性方程組要用到的高斯消去法和消去變換。第二
3、節(jié)多元線性回歸方程的建立???建立多元線性回歸方程，實(shí)際上是對多元線性模型（2-2-4）進(jìn)行估計(jì)，尋求估計(jì)式（2-2-3）的過程。與一元線性回歸分析相同，其基本思想是根據(jù)最小二乘原理，求解使全部觀測值與回歸值的殘差平方和達(dá)到最小值。由于殘差平方和（2-2-5）???是的非負(fù)二次式，所以它的最小值一定存在。???根據(jù)極值原理，當(dāng)Q取得極值時(shí)，應(yīng)滿足???由（2-2-5）式，即滿足（2-2-6）???(2-2-6）式稱為正規(guī)方程組。它可以化為以下形式（2-2-7）???如果用A表示上述方程組的系數(shù)矩陣可以看出A是對稱矩陣。則
4、有（2-2-8） ?式中X是多元線性回歸模型中數(shù)據(jù)的結(jié)構(gòu)矩陣，是結(jié)構(gòu)矩陣X的轉(zhuǎn)置矩陣。?(2-2-7)式右端常數(shù)項(xiàng)也可用矩陣D來表示???即???因此(2-2-7)式可寫成Ab=D（2-2-10）???或（2-2-11）如果A滿秩（即A的行列式）那么A的逆矩陣A-1存在，則由(2-10)式和(2-11)式得的最小二乘估計(jì)為（2-2-12）??也就是多元線性回歸方程的回歸系數(shù)。?為了計(jì)算方便往往并不先求，再求b，而是通過解線性方程組(2-2-7)來求b。(2-2-7)是一個(gè)有p+1個(gè)未知量的線性方程組，它的第一個(gè)方程可化為
5、（2-2-13）???式中（2-2-14）???將（2-2-13）式代入（2-2-7）式中的其余各方程，得（2-2-15）???其中（2-2-16）???將方程組（2-2-15）式用矩陣表示，則有Lb=F（2-2-17）???其中???于是b=L-1F（2-2-18）?因此求解多元線性回歸方程的系數(shù)可由（2-2-16）式先求出L，然后將其代回（2-2-17）式中求解。求b時(shí)，可用克萊姆法則求解，也可通過高斯變換求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩陣，因而相對復(fù)雜一些。?例2-2-1表2-2-1為
6、某地區(qū)土壤內(nèi)含植物可給態(tài)磷(y)與土壤內(nèi)所含無機(jī)磷濃度(x1)、土壤內(nèi)溶于K2CO3溶液并受溴化物水解的有機(jī)磷濃度(x2)以及土壤內(nèi)溶于K2CO3溶液但不溶于溴化物的有機(jī)磷(x3)的觀察數(shù)據(jù)。求y對x1,x2,x3的線性回歸方程?。表2-2-1土壤含磷情況觀察數(shù)據(jù)???計(jì)算如下：???由(2-2-16)式???代入(2-2-15)式得（2-2-19）???若用克萊姆法則解上述方程組，則其解為（2-2-20）???其中???計(jì)算得b1=1.7848，b2=-0.0834，b3=0.1611????回歸方程為?應(yīng)用克萊姆法則
7、求解線性方程組計(jì)算量偏大，下面介紹更實(shí)用的方法——高斯消去法和消去變換。第三節(jié)高斯消去法與消去變換???從上節(jié)的討論我們知道，要建立多元線性回歸方程需要求解線性方程組。當(dāng)n較大時(shí)解線性方程組變得相當(dāng)困難。本節(jié)介紹的高斯消去法與消去變換是目前用來解多元線性方程組的方法中比較簡單可行的方法。???一、高斯消去法???高斯消去法就是通過矩陣的行變換達(dá)到消元的目的，從而將方程組的系數(shù)矩陣由對稱矩陣變?yōu)槿蔷仃?，最后獲得方程組的解。為簡明起見，下面我們利用四元線性方程組來說明高斯消去法的基本思路和解題步驟，對于自變量數(shù)更多的元線性
8、方程組，其解題步驟和方法是一樣的，只是計(jì)算工作量更大些而已。???設(shè)方程組為（2-2-21）???將其記為矩陣形式，則（2-2-22）?現(xiàn)在我們的目的是使A變?yōu)槿蔷仃?，從而獲得方程組（2-2-21）的解。?假定a11≠0，我們首先保留矩陣的第一行，并利用它來消去其余三行中的第一列。（2-2-23）???即（2-2-
