極大似然估計法

《極大似然估計法》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、《概率論與數(shù)理統(tǒng)計》極大似然思想一般地說，事件與參數(shù)有關(guān)，取值不同，則也不同．若發(fā)生了，則認(rèn)為此時的值就是的估計值．這就是極大似然思想．看一例子：例１、設(shè)袋中裝有許多黑、白球，不同顏色球的數(shù)量比為3:1，試設(shè)計一種方法，估計任取一球為黑球的概率．分析：易知的值無非是1/4或3/4．為估計的值，現(xiàn)從袋中有放回地任取3只球，用表示其中的黑球數(shù)，則．按極大似然估計思想，對的取值進行估計．解：對的不同取值，取的概率可列表如下:０１２３故根據(jù)極大似然思想即知：．在上面的例子中，是分布中的參數(shù)，它只能取兩個值：1/4或3/4，需要通過抽樣來決定分布中參數(shù)究竟是

2、1/4還是3/4．在給定了樣本觀測值后去計算該樣本出現(xiàn)的概率，這一概率依賴于的值，為此需要用1/4、3/4分別去計算此概率，在相對比較之下，哪個概率大，則就最象那個．二、似然函數(shù)與極大似然估計1、離散分布場合：設(shè)總體是離散型隨機變量，其概率函數(shù)為，其中是未知參數(shù)．設(shè)為取自總體的樣本．的聯(lián)合概率函數(shù)為，這里，是常量，是變量．若我們已知樣本取的值是，則事件發(fā)生的概率為．這一概率隨的值而變化．從直觀上來看，既然樣本值出現(xiàn)了，它們出現(xiàn)的概率相對來說應(yīng)比較大，應(yīng)使取比較大的值．換句話說，應(yīng)使樣本值的出現(xiàn)具有最大的概率．將上式看作的函數(shù)，并用表示，就有：（１）

3、稱為似然函數(shù)．極大似然估計法就是在參數(shù)的可能取值范圍內(nèi)，選取使達到最大的參數(shù)值，作為參數(shù)的估計值．即取，使（２）因此，求總體參數(shù)的極大似然估計值的問題就是求似然函數(shù)的最大值問題．這可通過解下面的方程（３）來解決．因為是的增函數(shù)，所以與在的同一值處取得最大值．我們稱為對數(shù)似然函數(shù)．因此，常將方程（３）寫成：（４）方程（４）稱為似然方程．解方程（３）或（４）得到的就是參數(shù)的極大似然估計值．如果方程（４）有唯一解，又能驗證它是一個極大值點，則它必是所求的極大似然估計值．有時，直接用（４）式行不通，這時必須回到原始定義（２）進行求解．２、連續(xù)分布場合：設(shè)總

4、體是連續(xù)離散型隨機變量，其概率密度函數(shù)為，若取得樣本觀察值為，則因為隨機點取值為時聯(lián)合密度函數(shù)值為．所以，按極大似然法，應(yīng)選擇的值使此概率達到最大．我們?nèi)∷迫缓瘮?shù)為，再按前述方法求參數(shù)的極大似然估計值．三、求極大似然估計的方法1、可通過求導(dǎo)獲得極大似然估計：當(dāng)函數(shù)關(guān)于參數(shù)可導(dǎo)時，?？赏ㄟ^求導(dǎo)方法來獲得似然函數(shù)極大值對應(yīng)的參數(shù)值．例２、設(shè)某工序生產(chǎn)的產(chǎn)品的不合格率為，抽個產(chǎn)品作檢驗，發(fā)現(xiàn)有個不合格，試求的極大似然估計．分析：設(shè)是抽查一個產(chǎn)品時的不合格品個數(shù)，則服從參數(shù)為的二點分布．抽查個產(chǎn)品，則得樣本，其觀察值為，假如樣本有個不合格，即表示中有個取值

5、為１，個取值為０．按離散分布場合方法，求的極大似然估計．解：（１）寫出似然函數(shù)：（２）對取對數(shù)，得對數(shù)似然函數(shù)：（３）由于對的導(dǎo)數(shù)存在，故將對求導(dǎo)，令其為０，得似然方程：（４）解似然方程得：（５）經(jīng)驗證，在時，，這表明可使似然函數(shù)達到最大（６）上述過程對任一樣本觀測值都成立，故用樣本代替觀察值便得的極大似然估計為：將觀察值代入，可得的極大似然估計值為：，其中．若總體的分布中含有多個未知參數(shù)時，似然函數(shù)是這些參數(shù)的多元函數(shù)．代替方程（３），我們有方程組，由這個方程組解得分別是參數(shù)的極大似然估計值．例３、設(shè)某機床加工的軸的直徑與圖紙規(guī)定的中心尺寸的偏差

6、服從，其中未知．為估計，從中隨機抽取根軸，測得其偏差為．試求的極大似然估計．分析：顯然，該問題是求解含有多個（兩個）未知參數(shù)的極大似然估計問題．通過建立關(guān)于未知參數(shù)的似然方程組，從而進行求解．解：（１）寫出似然函數(shù)：（２）寫出對數(shù)似然函數(shù)：（３）將分別對求偏導(dǎo)，并令它們都為０，得似然方程組為：（４）解似然方程組得：，（５）經(jīng)驗證使達到極大，（６）上述過程對一切樣本觀察值成立，故用樣本代替觀察值，便得的極大似然估計分別為：，．２、不可通過求導(dǎo)方法獲得極大似然估計：當(dāng)似然函數(shù)的非零區(qū)域與未知參數(shù)有關(guān)時，通常無法通過解似然方程來獲得參數(shù)的極大似然估計，這

7、時可從定義（２）出發(fā)直接求的極大值點．例4、設(shè)總體服從均勻分布，從中獲得容量為的樣本，其觀測值為，試求的極大似然估計．分析：當(dāng)寫出其似然函數(shù)時，我們會發(fā)現(xiàn)的非零區(qū)域與有關(guān)，因而無法用求導(dǎo)方法來獲得的極大似然估計，從而轉(zhuǎn)向定義（２）直接求的極大值．解：寫出似然函數(shù)：為使達到極大，就必須使盡可能小，但是不能小于，因而取時使達到極大，故的極大似然估計為：．進一步，可討論估計的無偏性：由于總體，其密度函數(shù)與分布函數(shù)分別為：，，從而的概率密度函數(shù)為：這說明的極大似然估計不是的無偏估計，但對作一修正可得的無偏估計為：．通過修正獲得未知參數(shù)的無偏估計，這是一種常

8、用的方法．在二次世界大戰(zhàn)中，從戰(zhàn)場上繳獲的納粹德國的槍支上都有一個編號，對最大編號作一修正便獲得了德國生產(chǎn)能力的無偏估計．