資源描述:
《最大似然估計(jì).docx》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、最大似然估計(jì)提供了一種給定觀察數(shù)據(jù)來評估模型參數(shù)的方法,即:“模型已定,參數(shù)未知”。簡單而言,假設(shè)我們要統(tǒng)計(jì)全國人口的身高,首先假設(shè)這個(gè)身高服從服從正態(tài)分布,但是該分布的均值與方差未知。我們沒有人力與物力去統(tǒng)計(jì)全國每個(gè)人的身高,但是可以通過采樣,獲取部分人的身高,然后通過最大似然估計(jì)來獲取上述假設(shè)中的正態(tài)分布的均值與方差。????最大似然估計(jì)中采樣需滿足一個(gè)很重要的假設(shè),就是所有的采樣都是獨(dú)立同分布的。下面我們具體描述一下最大似然估計(jì):????首先,假設(shè)為獨(dú)立同分布的采樣,θ為模型參數(shù),f為我們所使用的模型,遵循我們上述的獨(dú)立同分布假設(shè)。參數(shù)為θ的模型f產(chǎn)生上述采樣可表示為?
2、??????回到上面的“模型已定,參數(shù)未知”的說法,此時(shí),我們已知的為,未知為θ,故似然定義為: ? 在實(shí)際應(yīng)用中常用的是兩邊取對數(shù),得到公式如下:????? 其中稱為對數(shù)似然,而稱為平均對數(shù)似然。而我們平時(shí)所稱的最大似然為最大的對數(shù)平均似然,即:? ?????舉個(gè)別人博客中的例子,假如有一個(gè)罐子,里面有黑白兩種顏色的球,數(shù)目多少不知,兩種顏色的比例也不知。我們想知道罐中白球和黑球的比例,但我們不能把罐中的球全部拿出來數(shù)?,F(xiàn)在我們可以每次任意從已經(jīng)搖勻的罐中拿一個(gè)球出來,記錄球的顏色,然后把拿出來的球再放回罐中。這個(gè)過程可以重復(fù),我們可以用記錄的球的顏色來估計(jì)罐中黑白
3、球的比例。假如在前面的一百次重復(fù)記錄中,有七十次是白球,請問罐中白球所占的比例最有可能是多少?很多人馬上就有答案了:70%。而其后的理論支撐是什么呢????我們假設(shè)罐中白球的比例是p,那么黑球的比例就是1-p。因?yàn)槊砍橐粋€(gè)球出來,在記錄顏色之后,我們把抽出的球放回了罐中并搖勻,所以每次抽出來的球的顏色服從同一獨(dú)立分布。這里我們把一次抽出來球的顏色稱為一次抽樣。題目中在一百次抽樣中,七十次是白球的概率是P(Data
4、M),這里Data是所有的數(shù)據(jù),M是所給出的模型,表示每次抽出來的球是白色的概率為p。如果第一抽樣的結(jié)果記為x1,第二抽樣的結(jié)果記為x2...?那么Data=(x1
5、,x2,…,x100)。這樣, P(Data
6、M) =P(x1,x2,…,x100
7、M) =P(x1
8、M)P(x2
9、M)…P(x100
10、M) =p^70(1-p)^30.那么p在取什么值的時(shí)候,P(Data
11、M)的值最大呢?將p^70(1-p)^30對p求導(dǎo),并其等于零?! ?0p^69(1-p)^30-p^70*30(1-p)^29=0?! 〗夥匠炭梢缘玫絧=0.7。在邊界點(diǎn)p=0,1,P(Data
12、M)=0。所以當(dāng)p=0.7時(shí),P(Data
13、M)的值最大。這和我們常識(shí)中按抽樣中的比例來計(jì)算的結(jié)果是一樣的。假如我們有一組連續(xù)變量的采樣值
14、(x1,x2,…,xn),我們知道這組數(shù)據(jù)服從正態(tài)分布,標(biāo)準(zhǔn)差已知。請問這個(gè)正態(tài)分布的期望值為多少時(shí),產(chǎn)生這個(gè)已有數(shù)據(jù)的概率最大? P(Data
15、M)=?根據(jù)公式? ? 可得:? 對μ求導(dǎo)可得?,則最大似然估計(jì)的結(jié)果為μ=(x1+x2+…+xn)/n??????由上可知最大似然估計(jì)的一般求解過程: (1)寫出似然函數(shù); ?。?)對似然函數(shù)取對數(shù),并整理; ?。?)求導(dǎo)數(shù); ?。?)解似然方程