資源描述:
《最大似然估計概述》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、最大似然估計概述 最大似然估計是一種統(tǒng)計方法,它用來求一個樣本集的相關(guān)概率密度函數(shù)的參數(shù)。這個方法最早是遺傳學家以及統(tǒng)計學家羅納德·費雪爵士在1912年至1922年間開始使用的?! 八迫弧笔菍ikelihood的一種較為貼近文言文的翻譯,“似然”用現(xiàn)代的中文來說即“可能性”。故而,若稱之為“最大可能性估計”則更加通俗易懂?! ∽畲笏迫环鞔_地使用概率模型,其目標是尋找能夠以較高概率產(chǎn)生觀察數(shù)據(jù)的系統(tǒng)發(fā)生樹。最大似然法是一類完全基于統(tǒng)計的系統(tǒng)發(fā)生樹重建方法的代表。該方法在每組序列比對中考慮了每個核苷酸替換的概率。
2、最大似然法是要解決這樣一個問題:給定一組數(shù)據(jù)和一個參數(shù)待定的模型,如何確定模型的參數(shù),使得這個確定參數(shù)后的模型在所有模型中產(chǎn)生已知數(shù)據(jù)的概率最大。通俗一點講,就是在什么情況下最有可能發(fā)生已知的事件。舉個例子,假如有一個罐子,里面有黑白兩種顏色的球,數(shù)目多少不知,兩種顏色的比例也不知。我們想知道罐中白球和黑球的比例,但我們不能把罐中的球全部拿出來數(shù)。現(xiàn)在我們可以每次任意從已經(jīng)搖勻的罐中拿一個球出來,記錄球的顏色,然后把拿出來的球再放回罐中。這個過程可以重復,我們可以用記錄的球的顏色來估計罐中黑白球的比例。假如在前面的一
3、百次重復記錄中,有七十次是白球,請問罐中白球所占的比例最有可能是多少?我想很多人立馬有答案:70%。這個答案是正確的??墒菫槭裁茨??(常識嘛!這還要問??。┢鋵?,在很多常識的背后,都有相應的理論支持。在上面的問題中,就有最大似然法的支持 例如,轉(zhuǎn)換出現(xiàn)的概率大約是顛換的三倍。在一個三條序列的比對中,如果發(fā)現(xiàn)其中有一列為一個C,一個T和一個G,我們有理由認為,C和T所在的序列之間的關(guān)系很有可能更接近。由于被研究序列的共同祖先序列是未知的,概率的計算變得復雜;又由于可能在一個位點或多個位點發(fā)生多次替換,并且不是所有的位
4、點都是相互獨立,概率計算的復雜度進一步加大。盡管如此,還是能用客觀標準來計算每個位點的概率,計算表示序列關(guān)系的每棵可能的樹的概率。然后,根據(jù)定義,概率總和最大的那棵樹最有可能是反映真實情況的系統(tǒng)發(fā)生樹。最大似然估計的原理 給定一個概率分布D,假定其概率密度函數(shù)(連續(xù)分布)或概率聚集函數(shù)(離散分布)為fD,以及一個分布參數(shù)θ,我們可以從這個分布中抽出一個具有n個值的采樣,通過利用fD,我們就能計算出其概率: 但是,我們可能不知道θ的值,盡管我們知道這些采樣數(shù)據(jù)來自于分布D。那么我們?nèi)绾尾拍芄烙嫵靓饶兀恳粋€自然的想法
5、是從這個分布中抽出一個具有n個值的采樣X1,X2,...,Xn,然后用這些采樣數(shù)據(jù)來估計θ. 一旦我們獲得,我們就能從中找到一個關(guān)于θ的估計。最大似然估計會尋找關(guān)于θ的最可能的值(即,在所有可能的θ取值中,尋找一個值使這個采樣的“可能性”最大化)。這種方法正好同一些其他的估計方法不同,如θ的非偏估計,非偏估計未必會輸出一個最可能的值,而是會輸出一個既不高估也不低估的θ值?! ∫跀?shù)學上實現(xiàn)最大似然估計法,我們首先要定義可能性: 并且在θ的所有取值上,使這個[[函數(shù)最大化。這個使可能性最大的值即被稱為θ的最大似然估
6、計。注意這里的可能性是指不變時,關(guān)于θ的一個函數(shù)。最大似然估計函數(shù)不一定是惟一的,甚至不一定存在。最大似然估計的例子離散分布,離散有限參數(shù)空間 考慮一個拋硬幣的例子。假設這個硬幣正面跟反面輕重不同。我們把這個硬幣拋80次(即,我們獲取一個采樣并把正面的次數(shù)記下來,正面記為H,反面記為T)。并把拋出一個正面的概率記為p,拋出一個反面的概率記為1?p(因此,這里的p即相當于上邊的θ)。假設我們拋出了49個正面,31個反面,即49次H,31次T。假設這個硬幣是我們從一個裝了三個硬幣的盒子里頭取出的。這三個硬幣拋出正面的概
7、率分別為p=1/3,p=1/2,p=2/3.這些硬幣沒有標記,所以我們無法知道哪個是哪個。使用最大似然估計,通過這些試驗數(shù)據(jù)(即采樣數(shù)據(jù)),我們可以計算出哪個硬幣的可能性最大。這個可能性函數(shù)取以下三個值中的一個: 我們可以看到當時,可能性函數(shù)取得最大值。這就是p的最大似然估計.離散分布,連續(xù)參數(shù)空間 現(xiàn)在假設例子1中的盒子中有無數(shù)個硬幣,對于中的任何一個p,都有一個拋出正面概率為p的硬幣對應,我們來求其可能性函數(shù)的最大值: 其中.我們可以使用微分法來求最值。方程兩邊同時對p取微分,并使其為零?! ≡诓煌壤齾?shù)
8、值下一個二項式過程的可能性曲線t=3,n=10;其最大似然估計值發(fā)生在其眾數(shù)(數(shù)學)并在曲線的最大值處?! ∑浣鉃閜=0,p=1,以及p=49/80.使可能性最大的解顯然是p=49/80(因為p=0和p=1這兩個解會使可能性為零)。因此我們說最大似然估計值為.. 這個結(jié)果很容易一般化。只需要用一個字母t代替49用以表達伯努利試驗中的被觀察數(shù)據(jù)