1_最速下降法

《1_最速下降法》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、第三部分無約束最優(yōu)化問題的解法第七章無約束最優(yōu)化的解析法第八章無約束最優(yōu)化的直接法第三部分無約束最優(yōu)化問題的解法解析法數(shù)學(xué)模型復(fù)雜時不便求解無約束優(yōu)化方法的分類數(shù)值法直接法可以處理復(fù)雜函數(shù)及沒有數(shù)學(xué)表達(dá)式的優(yōu)化設(shè)計問題第七章無約束最優(yōu)化的解析法(AnalyticMethodsforUnconstrainedOptimizations)一般來說，無約束最優(yōu)化問題的求解是通過一系列一維搜索來實現(xiàn)的．因此，如何選擇按索方向是無約束最優(yōu)化方法的核心，且不同的搜索方向形成不同的最優(yōu)化方法．本章介紹無約束最優(yōu)化方法中基本的并且主要利用目標(biāo)函數(shù)的解析性質(zhì)(包括一階

2、導(dǎo)數(shù)和二階導(dǎo)數(shù))來構(gòu)造搜索方向的一些方法，這些方法統(tǒng)稱為解析法.無約束優(yōu)化問題的解法是優(yōu)化設(shè)計方法的基本組成部分，也是優(yōu)化方法的基礎(chǔ).第七章無約束最優(yōu)化的解析法無約束優(yōu)化問題的極值條件搜索方向問題是無約束優(yōu)化方法的關(guān)鍵.基本迭代格式無約束優(yōu)化方法的算法框圖第七章無約束最優(yōu)化的解析法最速下降法(SteepestDescentMethod)Newton法共軛梯度法(ConjugateGradientMethod)變度量法(變尺度法，擬Newton法)(Quasi-NewtonMethod,VariableMetricMethod)最小二乘法(LeastS

3、quareMethod)在點處，沿什么方向下降最快?分析：考查：當(dāng)時，取極小值．結(jié)論：負(fù)梯度方向使下降最快，亦即最速下降方向．最速下降法問題的提出最速下降法迭代公式最優(yōu)步長最速下降方向其中Step1:給出最速下降法算法步驟Step3:計算下降方向計算步長因子令轉(zhuǎn)步２.Step2:計算如果停止迭代，xk為近似最優(yōu)解;否則轉(zhuǎn)Step3.設(shè)是正定二次函數(shù),最速下降法特例用最速下降法求解：解：最速下降法舉例最速下降法舉例解序列表達(dá)式：在最速下降法中，兩個相鄰的搜索方向是正交的，即最速下降法性質(zhì)幾何解釋最速下降法逼近極小點的路線是鋸齒形的.定理7.1.1:最速

4、下降法收斂性分析定理7.1.2:全局收斂性線性收斂速度程序設(shè)計簡單計算量小,存儲量小,并且計算效率在最初幾步迭代時較高,常與其他方法一起使用.．(2)對初始點沒有特別要求,有著很好的全局收斂性.最速下降法優(yōu)點缺點最速下降法是線性收斂的，但當(dāng)接近最優(yōu)解時，收斂速度很慢．原因：①僅反映在處的局部性質(zhì)．②相繼兩次迭代中搜索方向是正交的: