最大似然估計

《最大似然估計》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、最大似然估計是一種統(tǒng)計方法，它用來求一個樣本集的相關(guān)概率密度函數(shù)的參數(shù)。這個方法最早是遺傳學(xué)家以及統(tǒng)計學(xué)家羅納德·費(fèi)雪爵士在1912年至1922年間開始使用的?！八迫弧笔菍ikelihood的一種較為貼近文言文的翻譯，“似然”用現(xiàn)代的中文來說即“可能性”。故而，若稱之為“最大可能性估計”則更加通俗易懂。目錄[隱藏]·1預(yù)備知識·2最大似然估計的原理o2.1注意·3例子o3.1離散分布，離散有限參數(shù)空間o3.2離散分布，連續(xù)參數(shù)空間o3.3連續(xù)分布，連續(xù)參數(shù)空間·4性質(zhì)o4.1泛函不變性（Functionalinvariance）o4.2漸近

2、線行為o4.3偏差·5參見·6外部資源[編輯]預(yù)備知識下邊的討論要求讀者熟悉概率論中的基本定義，如概率分布、概率密度函數(shù)、隨機(jī)變量、數(shù)學(xué)期望等。同時，還要求讀者熟悉連續(xù)實(shí)函數(shù)的基本技巧，比如使用微分來求一個函數(shù)的極值（即極大值或極小值）。[編輯]最大似然估計的原理給定一個概率分布D，假定其概率密度函數(shù)（連續(xù)分布）或概率聚集函數(shù)（離散分布）為fD，以及一個分布參數(shù)θ，我們可以從這個分布中抽出一個具有n個值的采樣，通過利用fD，我們就能計算出其概率：但是，我們可能不知道θ的值，盡管我們知道這些采樣數(shù)據(jù)來自于分布D。那么我們?nèi)绾尾拍芄烙嫵靓饶兀恳粋€

3、自然的想法是從這個分布中抽出一個具有n個值的采樣X1,X2,...,Xn，然后用這些采樣數(shù)據(jù)來估計θ.一旦我們獲得，我們就能從中找到一個關(guān)于θ的估計。最大似然估計會尋找關(guān)于θ的最可能的值（即，在所有可能的θ取值中，尋找一個值使這個采樣的“可能性”最大化）。這種方法正好同一些其他的估計方法不同，如θ的非偏估計，非偏估計未必會輸出一個最可能的值，而是會輸出一個既不高估也不低估的θ值。要在數(shù)學(xué)上實(shí)現(xiàn)最大似然估計法，我們首先要定義可能性:并且在θ的所有取值上，使這個函數(shù)最大化。這個使可能性最大的值即被稱為θ的最大似然估計。[編輯]注意·這里的可能性是

4、指不變時，關(guān)于θ的一個函數(shù)?！ぷ畲笏迫还烙嫼瘮?shù)不一定是惟一的，甚至不一定存在。[編輯]例子[編輯]離散分布，離散有限參數(shù)空間考慮一個拋硬幣的例子。假設(shè)這個硬幣正面跟反面輕重不同。我們把這個硬幣拋80次（即，我們獲取一個采樣并把正面的次數(shù)記下來，正面記為H，反面記為T）。并把拋出一個正面的概率記為p，拋出一個反面的概率記為1?p（因此，這里的p即相當(dāng)于上邊的θ）。假設(shè)我們拋出了49個正面，31個反面，即49次H，31次T。假設(shè)這個硬幣是我們從一個裝了三個硬幣的盒子里頭取出的。這三個硬幣拋出正面的概率分別為p=1/3,p=1/2,p=2/3.這些

5、硬幣沒有標(biāo)記，所以我們無法知道哪個是哪個。使用最大似然估計，通過這些試驗(yàn)數(shù)據(jù)（即采樣數(shù)據(jù)），我們可以計算出哪個硬幣的可能性最大。這個可能性函數(shù)取以下三個值中的一個：我們可以看到當(dāng)時，可能性函數(shù)取得最大值。這就是p的最大似然估計.[編輯]離散分布，連續(xù)參數(shù)空間現(xiàn)在假設(shè)例子1中的盒子中有無數(shù)個硬幣，對于中的任何一個p，都有一個拋出正面概率為p的硬幣對應(yīng)，我們來求其可能性函數(shù)的最大值：其中.我們可以使用微分法來求最值。方程兩邊同時對p取微分，并使其為零。在不同比例參數(shù)值下一個二項式過程的可能性曲線t=3,n=10；其最大似然估計值發(fā)生在其眾數(shù)并在曲

6、線的最大值處。其解為p=0,p=1，以及p=49/80.使可能性最大的解顯然是p=49/80（因?yàn)閜=0和p=1這兩個解會使可能性為零）。因此我們說最大似然估計值為.這個結(jié)果很容易一般化。只需要用一個字母t代替49用以表達(dá)伯努利試驗(yàn)中的被觀察數(shù)據(jù)（即樣本）的'成功'次數(shù)，用另一個字母n代表伯努利試驗(yàn)的次數(shù)即可。使用完全同樣的方法即可以得到最大似然估計值:對于任何成功次數(shù)為t，試驗(yàn)總數(shù)為n的伯努利試驗(yàn)。[編輯]連續(xù)分布，連續(xù)參數(shù)空間最常見的連續(xù)概率分布是正態(tài)分布，其概率密度函數(shù)如下：其n個正態(tài)隨機(jī)變量的采樣的對應(yīng)密度函數(shù)（假設(shè)其獨(dú)立并服從同一分

7、布）為：或：}-,這個分布有兩個參數(shù)：μ,σ2.有人可能會擔(dān)心兩個參數(shù)與上邊的討論的例子不同，上邊的例子都只是在一個參數(shù)上對可能性進(jìn)行最大化。實(shí)際上，在兩個參數(shù)上的求最大值的方法也差不多：只需要分別把可能性在兩個參數(shù)上最大化即可。當(dāng)然這比一個參數(shù)麻煩一些，但是一點(diǎn)也不復(fù)雜。使用上邊例子同樣的符號，我們有θ=(μ,σ2).最大化一個似然函數(shù)同最大化它的自然對數(shù)是等價的。因?yàn)樽匀粚?shù)log是一個連續(xù)且在似然函數(shù)的值域內(nèi)嚴(yán)格遞增的函數(shù)。[注意：可能性函數(shù)（似然函數(shù)）的自然對數(shù)跟信息熵以及Fisher信息聯(lián)系緊密。]求對數(shù)通常能夠一定程度上簡化運(yùn)算，

8、比如在這個例子中可以看到：}-這個方程的解是.這的確是這個函數(shù)的最大值，因?yàn)樗铅汤镱^惟一的拐點(diǎn)并且二階導(dǎo)數(shù)嚴(yán)格小于零。同理，我們對σ求導(dǎo)，并使其為零。}-這個方程