最優(yōu)化：最速下降法和Newton法.ppt

《最優(yōu)化：最速下降法和Newton法.ppt》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、最優(yōu)化主講：劉陶文課件制作：劉陶文唯楚有材於斯為盛學(xué)好最優(yōu)化，走遍天下都不怕第三章無約束問題算法(I)——最速下降法、Newton法第一節(jié)最速下降法第二節(jié)Newton法及其修正形式第一節(jié)最速下降法1、思想：每次沿負(fù)梯度方向進(jìn)行搜索●●等值線(面)●最古老的優(yōu)化方法，十九世紀(jì)中葉由Cauchy提出負(fù)梯度方向也稱為最速下降方向：以負(fù)梯度為搜索方向的算法稱為最速下降法2、算法步驟最優(yōu)化算法看來是如此的簡單？事實上，上面的例子刻畫了最速下降法的所有收斂特征3、最速下降法的收斂性全局收斂性收斂速度估計從上圖可以看出，最速下降法具有

2、鋸齒現(xiàn)象對一般的非二次函數(shù)有下面的收斂速度估計：定理的證明參見文獻(xiàn)[19,定理3.4]由上面的分析可知，最速下降法的收斂速度比較慢，通常將其用在某些算法的初始階段求較好的初始點(diǎn)或作為某些算法的間插步.思考題：有點(diǎn)難啊第二節(jié)Newton法及其修正形式1、思想：用近似二次函數(shù)的極小點(diǎn)作為原問題的新的近似解幾何解釋：●●2、Newton法的算法步驟對不同的兩個初始點(diǎn)，經(jīng)一次迭代求出最優(yōu)解，這是偶然還是必然的呢？下面我們來看看最速下降法與Newton法求解二次函數(shù)的比較●●●等值線3、Newton的收斂性4、局部二次收斂性(1)

3、收斂性略，參見前面的牛頓法的收斂性(2)收斂速度5、Newton法的修正形式：如何有效計算下降方向該算法有較好的穩(wěn)定性及較快的收斂速度從Newton法出發(fā)進(jìn)行修改，利用其優(yōu)點(diǎn)，克服其缺點(diǎn)，產(chǎn)生很多效果非常好的其他新算法上面的Newton法的兩種修正形式，在較弱的條件下具有超線性收斂性或二次收斂性.還有很多其他的修正形式Newton法的優(yōu)點(diǎn)：收斂快；缺點(diǎn)：對初始點(diǎn)要求很高，而且計算量大注意：