資源描述：
《Logistic回歸系數(shù)極大似然估計(jì)的計(jì)算.pdf》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、數(shù)學(xué)理論與應(yīng)用V01．29No．4第29卷第4期2OO9年12月Dec．2009lVIA11}斑M(jìn)AInCALⅡ壬E0RYANDAPPHCATIONSLogistic回歸系數(shù)極大似然估計(jì)的計(jì)算王治(中南大學(xué)數(shù)學(xué)院，長(zhǎng)沙，410075)摘要本文介紹了Logistic回歸系數(shù)的極大似然估計(jì)(瑚xim岫likelihood)的計(jì)算，并引入Levenberg—Mar—quardt算法，通過這代給出了Logistic回歸系數(shù)的極大似然估計(jì)。關(guān)鍵詞Logistic回歸極大似然估計(jì)Levenberg—Ma唧zardt算法ComputingMaximumLikelihood
2、EstimatesforLogisticRegressionCoefficientsWangZhi(SchoolofMathematicalScienceandComputingTechnology，CSU，Chanha，410075)AbstractThisdocumentbrieflydescribestheestimationofc~_fficientsinLogisticregressionwhichisusuallycarriedoutbasedontheprincipleofnlaximumlikelihood．Andthen，theLeveng
3、erg—Marquardtalgorithmisintroducedtocomputethemaximumlikelihoodestimatesforregressioncoeficients．KeywordsLogisticRegressionMaximumlikelihoodLevenberg—Ma唧tAlgorithm1引言計(jì)算Logistic回歸系數(shù)的極大似然估計(jì)的一個(gè)常用方法是Newton迭代法。Levenberg—Marquardt算法是一個(gè)廣泛應(yīng)用的最優(yōu)化算法，它可以視為梯度下降法(gradientdescent)New—ton迭代法的一個(gè)結(jié)合
4、，本文使用該算法來計(jì)算Logistic回歸系數(shù)的極大似然估計(jì)，因?yàn)樗梢员苊釴ewton迭代法中Hessian矩陣接近0而無法計(jì)算的情況。2Logistic回歸模型及其似然函數(shù)Logistic回歸延伸了多元線性回歸思想，即因變量是二值(為了方便起見通常設(shè)這些值為0*王志忠教授推薦收稿日期：2009年5月8f{Logistic回歸系數(shù)極大似然估計(jì)的計(jì)算和1)的情形。和在線性回歸中一樣，自變量一，也許是類別變量或連續(xù)變量或是兩種類型的混合。Logistic回歸模型如下]=㈩其中，rio，?，是未知的和線性回歸模型相似的常數(shù)，exp(rio+J8+?+)=島’』{
5、。假設(shè)有N個(gè)觀測(cè)構(gòu)成的總體Y1，?，，從中隨機(jī)抽取n個(gè)作為樣本，觀測(cè)值為Y一，。設(shè)P。=P(y=1l置)=丌()為給定置條件下得到結(jié)果Y=1的條件概率；而在同樣條件下得到結(jié)果Y0的條件概率為尸(Y=OIXi)=1一(置)。于是得到一個(gè)觀測(cè)值的概率為P(Y)=丌(Xi)[1一玎()]一(2)因?yàn)楦黜?xiàng)觀測(cè)相互獨(dú)立，它們的聯(lián)合分布可以表示為各邊際分布的乘積()=II丌(Xi)[1一丌(Xi)]一(3)．式(3)rE稱為n個(gè)觀測(cè)的似然函數(shù)，對(duì)Logistic回歸模型來說，這是充分的統(tǒng)計(jì)量。其對(duì)數(shù)似然值為L(zhǎng)(f1)=In[()]=＼Z_s{YiIn[7r()]+(1一
6、Y)In[1一丌(。)](4)式(4)即稱為對(duì)數(shù)似然函數(shù)。從式(4)可以看出，的最大似然估計(jì)，就是通過對(duì)給定的Y和代入數(shù)據(jù)對(duì)似然函數(shù)求最大值就是可以得到。因?yàn)榍笠粋€(gè)函數(shù)的對(duì)數(shù)形式的最大值就等于求該函數(shù)的最大值，所以常用對(duì)數(shù)似然函數(shù)，因?yàn)樗梢詼p少一些數(shù)學(xué)運(yùn)算的麻煩。3Levenberg—Marquardt算法在數(shù)值計(jì)算領(lǐng)域，Leverrberg—Marquardt算法有著廣泛的應(yīng)用，下面是該算法的具體實(shí)現(xiàn)過程：對(duì)于目標(biāo)實(shí)值函數(shù)：Max：Y：f(X)=一，)其中X：(，?，)。有：vf()=0。對(duì)v)在處進(jìn)行Taylor展開：v)一Vf(Xo)+vX)(X一)
7、(5)上式略去了～的高階部分，然后用置、+分別代替、，就可以得到Newton法的迭代法：X+，：一(v_廠())Vf(Xi)=X一H()Vf()(6)其中H為Hessian矩陣，即88數(shù)學(xué)理論與應(yīng)用Hf1=為了改進(jìn)上述文中Newton迭代法的缺點(diǎn)，Levenberg和Marquardt將上述迭代式改進(jìn)為．Y?=一(H+D)V廠()(7)其中D為這樣一個(gè)矩陣，當(dāng)日的對(duì)角陣元素的絕對(duì)值都大于某個(gè)給定的很小的數(shù)的時(shí)候，為目的對(duì)角陣，否則，將的對(duì)角陣中該元素賦值為1，再將這個(gè)修正的的對(duì)角陣賦給D。一a這樣就可以改進(jìn)Newton迭代法中Hessian矩陣接近0而無法計(jì)
8、算的情況。為可變參數(shù)，如果迭代過程中誤差增大，則增大
