資源描述：
《參數(shù)模型與貝葉斯方法》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、參數(shù)模型與貝葉斯方法1.極大似然與廣義線性模型2.非線性回歸模型3.貝葉斯推斷4.壓縮估計方法和貝葉斯方法在投資中的應(yīng)用1.極大似然與廣義線性模型1.1計算MLE的數(shù)值方法似然函數(shù)對求最大時，需要限制為半正定，使用Cholesky分解1.2廣義線性模型正態(tài)分布族Poisson分布族logistic模型probit模型廣義線性模型的似然函數(shù)及迭代再加權(quán)最小二乘Newton-Raphson迭代式2.非線性回歸模型部分線性模型可轉(zhuǎn)化為線性的模型2.1高斯-牛頓算法計算最小點(diǎn)，選取作為初值，在第j個迭代步中，得到用上式來近似，最初的非線性模型可以由下面的線性回歸模型來近似上式中θ的O
2、LS估計值的顯示表示為矩陣求逆步長因子收斂性準(zhǔn)則1參數(shù)增量相對與參數(shù)值足夠小2足夠小3幾乎正交于在處的切平面這個準(zhǔn)則的要求為下式足夠小Levenberg-Marquardt修正2.2統(tǒng)計推斷令表示非線性回歸模型中的估計，用表示的真值，我們假設(shè)X非隨機(jī)，那么由下式在假設(shè)下，其中我們得到2.3實現(xiàn)和實例應(yīng)用非線性最小二乘估計來估計Hull-White利率模型中收益率的波動率其中期限為τ(年)的收益率的方差由下式給出其中κ和σ是模型的參數(shù)3貝葉斯推斷3.1先驗分布和后驗分布在給出貝葉斯公式的密度函數(shù)形式之前，先介紹以下貝葉斯學(xué)派的一些具體思想或者叫著基本假設(shè)：假設(shè)Ⅰ隨機(jī)變量X有一個
3、密度函數(shù)p(x;θ)，其中θ是一個參數(shù)，不同的θ對應(yīng)不同的密度函數(shù)，故從貝葉斯觀點(diǎn)看，p(x;θ)是在給定θ后的一個條件密度函數(shù)，因此記為p(x│θ)更恰當(dāng)一些。這個條件密度能提供我們的有關(guān)的θ信息就是總體信息。假設(shè)Ⅱ當(dāng)給定θ后，從總體p(x│θ)中隨機(jī)抽取一個樣本X1，…，Xn，該樣本中含有θ的有關(guān)信息。這種信息就是樣本信息。假設(shè)Ⅲ從貝葉斯觀點(diǎn)來看，未知參數(shù)θ是一個隨機(jī)變量。而描述這個隨機(jī)變量的分布可從先驗信息中歸納出來，這個分布稱為先驗分布，其密度函數(shù)用π(θ)表示。（1）先驗分布定義1將總體中的未知參數(shù)θ∈Θ看成一取值于Θ的隨機(jī)變量，它有一概率分布，記為π(θ)，稱為參
4、數(shù)θ的先驗分布。（2）后驗分布在貝葉斯統(tǒng)計學(xué)中，把以上的三種信息歸納起來的最好形式是在總體分布基礎(chǔ)上獲得的樣本X1，…，Xn，和參數(shù)的聯(lián)合密度函數(shù)：在這個聯(lián)合密度函數(shù)中，當(dāng)樣本給定之后，未知的僅是參數(shù)θ了，我們關(guān)心的是樣本給定后，θ的條件密度函數(shù)，依據(jù)密度的計算公式，容易獲得這個條件密度函數(shù)：這就是貝葉斯公式的密度函數(shù)形式，其中稱為θ的后驗密度函數(shù)，或后驗分布。3.2貝葉斯方法貝葉斯方法是在給定數(shù)據(jù)下最小化基于θ的后驗分布的某個函數(shù)。統(tǒng)計決策問題，必須具備幾個要素：1參數(shù)空間以及一個分布族2從分布抽取的樣本數(shù)據(jù)，其中θ表示參數(shù)真值，稱作“樣本空間”3決策空間包含所有可供選擇的
5、行為4損失函數(shù)表示當(dāng)真值θ為參數(shù)值，選擇行為ɑ導(dǎo)致的損失風(fēng)險函數(shù)貝葉斯風(fēng)險貝葉斯準(zhǔn)則，即最小化貝葉斯風(fēng)險：那么上式可以寫成3.3多元正態(tài)均值和協(xié)方差陣的貝葉斯估計令為多維正態(tài)分布的n個獨(dú)立同分布的觀測。用表示樣本均值向量?！埔阎獣rμ的貝葉斯估計假設(shè)μ的先驗分布為，后驗分布是一個正態(tài)分布，均值為協(xié)方差陣為逆轉(zhuǎn)Wishart分布進(jìn)一步有的貝葉斯估計使用下面的分布作為的先驗分布：上式也是一個共軛分布族，因為給定X分量下，的后驗分布為μ和∑的貝葉斯估計，即其后驗均值為和3.4高斯回歸模型中的貝葉斯估計令，我們可以假設(shè)的先驗分布為那么給定（X，Y）下，的后驗分布也有相同形式：因此，β的
6、貝葉斯估計仍然是，的貝葉斯估計為3.5經(jīng)驗貝葉斯估計和壓縮估計4壓縮估計和貝葉斯估計在投資中的應(yīng)用4.1代入估計有效前沿下μ和∑的壓縮估計4.2另一種貝葉斯方法
