資源描述：
《最速下降法_steepest_descend_method.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、3.3最速下降法和共軛梯度法－－多變量函數(shù)尋優(yōu)法關(guān)于無約束極小問題普遍使用下降迭代算法,每一類下降選代算法中包含兩個(gè)關(guān)鍵步驟：得到一個(gè)迭代點(diǎn)x(k)后，（1）如何選擇搜索方向d(k)？（2）在確定搜索方向上，用什么方法進(jìn)行一維搜索??幾個(gè)概念1。梯度：f(x)是定義在Rn上的可微函數(shù)，稱以f(x)的n個(gè)偏導(dǎo)數(shù)為分量的向量，為f(x)的梯度，記作▽f(x)即2。梯度向量：稱為f(x)在x0處的梯度向量。3。梯度▽f(x)的模：?幾個(gè)梯度公式1。f(x)＝C（常數(shù)），則▽f(x)＝0。2。f(x)=bTx，
2、則▽f(x)＝b；3。▽(xTx)＝2x；4。若A是實(shí)對(duì)稱方陣，則有▽(xTAx)＝2Ax；一、最速下降法(methodofsteepestdescent)2.收斂準(zhǔn)則：1.基本思想：任一點(diǎn)的負(fù)梯度方向是函數(shù)值在該點(diǎn)下降最快的方向。將n維問題轉(zhuǎn)化為一系列沿負(fù)梯度方向用一維搜索方法尋優(yōu)的問題，利用負(fù)梯度作為搜索方向，故稱最速下降法或梯度法。3.具體步驟4.方法特點(diǎn)（1）初始點(diǎn)可任選，每次迭代計(jì)算量小，存儲(chǔ)量少，程序簡(jiǎn)短。即使從一個(gè)不好的初始點(diǎn)出發(fā)，開始的幾步迭代，目標(biāo)函數(shù)值下降很快，然后慢慢逼近局部極小點(diǎn)
3、。（2）任意相鄰兩點(diǎn)的搜索方向是正交的，它的迭代路徑為繞道逼近極小點(diǎn)。當(dāng)?shù)c(diǎn)接近極小點(diǎn)時(shí)，步長(zhǎng)變得很小，越走越慢。對(duì)于解二次函數(shù)最小值問題時(shí)，由于最速下降法中，當(dāng)?shù)c(diǎn)接近極小點(diǎn)時(shí)，步長(zhǎng)變得很小，越走越慢。所以把此法改進(jìn)為共軛梯度法。復(fù)習(xí)精確搜索試探法（平分法、0.618法）函數(shù)逼近法（牛頓法）最速下降法二、共軛梯度法(ConjugateGradsMeans)1.研究目標(biāo)函數(shù)類型：二次函數(shù)的無約束極小問題說明：對(duì)可變量分離函數(shù)f(x)=f1(x1)+f2(x2)+…+fn(xn)的無約束極小問題，則從
4、任意一點(diǎn)x(1)出發(fā)，分別沿每個(gè)坐標(biāo)軸方向進(jìn)行一維搜索，進(jìn)行一遍(共進(jìn)行n次線搜索)以后，一定就能得到的f(x)的最優(yōu)解．2.基本思想：把形為(3.16)二次函數(shù)（其中Q為實(shí)對(duì)稱正定矩陣）作基變換，使f(x)變成為變量分離的形式。那么任一點(diǎn)的負(fù)梯度方向是函數(shù)值在該點(diǎn)下降最快的方向。f(x)=f1(x1)+f2(x2)+…+fn(xn)選基{p1,p2,…pn,}使piTQpj=0,(i?j)定義設(shè)Q為n階實(shí)對(duì)稱正定矩陣，若n維方向x和y滿足xTQy=0，則稱方向x和y是Q—共軛的。定理在每個(gè)迭代點(diǎn)x(k
5、)處，以負(fù)梯度－?f(x(k))和前一搜索方向pk－1組合，即可構(gòu)成與前k－1個(gè)搜索方向p1，p2…，pk－1均兩兩Q－共軛的搜索方向pk。4.基本步驟：求解（與最速下降法同）3.共軛Q－方向的推導(dǎo)：略（見教材P50）5.一般二階可微函數(shù)共軛梯度法的改進(jìn)：說明：若問題含變量較多，則用共軛梯度的改進(jìn)法；若問題含變量不多，則用共軛梯度法。思考共軛梯度法與最速下降法主要區(qū)別和聯(lián)系有什么？適用范圍收斂速度
