對數(shù)極大似然估計

《對數(shù)極大似然估計》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第八章對數(shù)極大似然估計極大似然估計法(maximumlikelihood,ML)，是不同于最小二乘法的另一種參數(shù)估計方法，是從極大似然原理發(fā)展起來的其他估計方法的基礎(chǔ)。雖然其應(yīng)用沒有最小二乘法普遍，但在計量經(jīng)濟學(xué)理論上占據(jù)很重要的地位，因為極大似然原理比最小二乘原理更本質(zhì)地揭示了通過樣本估計總體參數(shù)的內(nèi)在機理，計量經(jīng)濟學(xué)理論的發(fā)展更多的是以極大似然估計原理為基礎(chǔ)的，對于一些特殊的計量經(jīng)濟學(xué)模型，只有極大似然方法才是很成功的估計方法。1EViews包含了一些常用方法，如最小二乘法、非線性最小二乘法

2、、加權(quán)最小二乘法、TSLS、GMM等方法，這些方法可以解決可能遇到的大多數(shù)估計問題。但是，我們在研究中也可能會碰到一些不在上述之列的特殊的模型，這些模型可能是現(xiàn)存方法的一個擴展，也可能是一類全新的問題。為了能解決這些特殊的問題，EViews提供了對數(shù)極大似然估計對象這一工具來估計各種不同類型的模型。對數(shù)極大似然估計對象提供了一個一般的，開放的工具，可以通過這個工具極大化相關(guān)參數(shù)的似然函數(shù)對一大類模型進行估計。2使用對數(shù)極大似然估計對象估計時，我們用EViews的序列生成器，將樣本中各個觀測值的對

3、數(shù)似然貢獻描述為一個未知參數(shù)的函數(shù)?？梢越o出似然函數(shù)中一個或多個參數(shù)的解析微分，也可以讓EViews自動計算數(shù)值微分。EViews將尋找使得指定的似然函數(shù)最大化的參數(shù)值，并給出這些參數(shù)估計的估計標準差。在本章，我們將詳細論述對數(shù)極大似然估計對象，說明其一般特征。并給出了一些可以使用該方法的具體的例子。3§8.1對數(shù)極大似然估計的基本原理§8.1.1極大似然估計的基本原理設(shè)總體的概率密度函數(shù)為P，其類型是已知的，但含有未知參數(shù)（向量）?。我們的目的就是依據(jù)從該總體抽得的隨機樣本y1,y2,…,yT

4、，尋求對?的估計。觀測值y1,y2,…,yT的聯(lián)合密度函數(shù)被給定為（8.1.1）其中：y=(y1,y2,…,yT)?。將這一聯(lián)合密度函數(shù)視為參數(shù)?的函數(shù)，稱為樣本的似然函數(shù)（likelihoodfunction）。4極大似然原理就是尋求參數(shù)的估計值，使得所給樣本值的概率密度（即似然函數(shù)）的值在這個參數(shù)值之下，達到最大。在當(dāng)前的情形下，就是尋求?的估計值，使得似然函數(shù)L(y;?)相對于給定的觀測值y1,y2,…,yT而言達到最大值，就被稱為極大似然估計量。5在L(y;?)關(guān)于?i（i=1,2,…,

5、n，n是未知參數(shù)的個數(shù)）的偏導(dǎo)數(shù)存在時，要使L(y;?)取最大值，?必須滿足,i=1,2,…,n（8.1.2）由上式可解得n?1向量?的極大似然估計值。6因為L(y;?)與ln[L(y;?))]在同一點處取極值，所以也可以由,i=1,2,…,n（8.1.3）求得，因為對數(shù)可將乘積變成求和，所以，式(8.1.3)往往比直接使用式(8.1.2)來得方便。式(8.1.3)也被稱為對數(shù)似然函數(shù)。7考慮多元線性回歸模型的一般形式,t=1,2,…,T(8.1.4)其中k是解釋變量個數(shù)，T是觀測值個數(shù)，隨機擾

6、動項～，那么yt服從如下的正態(tài)分布：～其中(8.1.5)8y的隨機抽取的T個樣本觀測值的聯(lián)合概率函數(shù)為（8.1.6）這就是變量y的似然函數(shù)，未知參數(shù)向量?={?1,?2,…?k,?2}。對似然函數(shù)求極大值和對數(shù)似然函數(shù)求極大值是等價的，式(8.1.6)的對數(shù)似然函數(shù)形式為：（8.1.7）9注意，可以將對數(shù)似然函數(shù)寫成t時刻所有觀測值的對數(shù)似然貢獻和的形式，（8.1.8）對數(shù)似然的單個貢獻（用小寫字母表示）由下面的式子給出：（8.1.9）10式（8.1.7）也可用標準正態(tài)分布的密度函數(shù)?表示（8.

7、1.10）式中標準正態(tài)分布的對數(shù)似然函數(shù)?為（8.1.11）這里對數(shù)似然函數(shù)每個觀測值的貢獻式(8.1.9)又可以由下面的式子給出：（8.1.12）11§8.1.2EViews極大似然對象概述用對數(shù)極大似然估計來估計一個模型，主要的工作是建立用來求解似然函數(shù)的說明文本。用EViews指定對數(shù)極大似然函數(shù)的說明是很容易的，因為似然函數(shù)的說明只是一系列對序列的賦值語句，這些賦值語句在極大化的過程中被反復(fù)的計算。我們所要做的只是寫下一組語句，在計算時，這些語句將描述一個包含每個觀測值對似然函數(shù)貢獻的序

8、列。12注意到，我們能將對數(shù)似然函數(shù)寫成所有觀測值t的對數(shù)似然貢獻和的形式，這里單個貢獻由下面的式子給出：13以只含一個解釋變量的一元線性回歸方程為例,t=1,2,…,T假定知道模型參數(shù)的真實值，并且想用EViews產(chǎn)生一個包含每個觀測值的貢獻的序列。14未知參數(shù)向量?={?0,?1,?2},可以將參數(shù)初值賦給系數(shù)向量的c(1)到c(3)元素，然后把下面的賦值語句作為EViews的命令或程序來執(zhí)行。Seriesres=y-c(1)-c(2)*xSeriesvar=c(3)SerieslogL1=