資源描述：
《非線性規(guī)劃多維無約束優(yōu)化》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第六章非線性規(guī)劃 多維無約束非線性優(yōu)化概述多維無約束優(yōu)化問題是指在沒有任何限制條件下尋求目標(biāo)函數(shù)的極小點(diǎn)。其表達(dá)形式為：研究無約束優(yōu)化問題的意義：在求解有約束優(yōu)化問題的解時(shí)，有一大類解法是通過對約束條件的處理，把有約束問題變成一系列無約束的問題進(jìn)行求解。研究無約束優(yōu)化問題的解，也為研究約束優(yōu)化問題的解法打下基礎(chǔ)；在實(shí)際問題中，某些實(shí)際問題的數(shù)學(xué)模型本身也可能是一個(gè)無約束優(yōu)化問題。在研究最優(yōu)化問題時(shí)，通常首先要研究無約束問題的最優(yōu)化問題。無約束優(yōu)化問題求解的方法有多種，它們的主要不同點(diǎn)在于如何構(gòu)造搜索方向。最速下降法基
2、本思想最速下降法由法國數(shù)學(xué)家Cauchy于1847年首先提出。該算法在每次迭代中，沿最速下降方向（負(fù)梯度方向）進(jìn)行搜索，每步沿負(fù)梯度方向取最優(yōu)步長，因此這種方法稱為最優(yōu)梯度法算法特點(diǎn)最速下降法方法簡單，只以一階梯度的信息確定下一步的搜索方向，收斂速度慢；越是接近極值點(diǎn)，收斂越慢它是其它許多無約束、有約束最優(yōu)化方法的基礎(chǔ)。該法一般用于最優(yōu)化開始的幾步搜索。最速下降法算法分析最速下降法最速下降法由初始點(diǎn)向最優(yōu)點(diǎn)迭代過程示意圖最速下降法算法步驟最速下降法最速下降法的特點(diǎn)牛頓法概述為了尋找收斂速度快的無約束最優(yōu)化方法，我們考
3、慮在每次迭代時(shí)，用適當(dāng)?shù)亩魏瘮?shù)去近似目標(biāo)函數(shù)，并用迭代點(diǎn)指向近似二次函數(shù)極小點(diǎn)的方向來構(gòu)造搜索方向，然后精確地求出近似二次函數(shù)的極小點(diǎn)，以該極小點(diǎn)作為的極小點(diǎn)的近似值．這就是Newton切線法的基本思想，它是Newton切線法的推廣牛頓法算法分析牛頓法迭代步驟牛頓法例1用牛頓法求函數(shù)的極小點(diǎn)牛頓法牛頓法的收斂性質(zhì)阻尼牛頓法算法思想在牛頓法的實(shí)際操作中必須要選擇一個(gè)具有較優(yōu)目標(biāo)值的初始點(diǎn)，但這往往是困難的。為了克服這個(gè)缺點(diǎn)，人們提出了“阻尼牛頓法”對此進(jìn)行修正。阻尼牛頓法迭代步驟阻尼牛頓法收斂性質(zhì)阻尼牛頓法例1利用阻
4、尼牛頓法求解非線性規(guī)劃問題取初始點(diǎn)，則利用牛頓法和阻尼牛頓法求解二次型共軛方向法基本思想共軛方向法理論基礎(chǔ)共軛方向法共軛的性質(zhì)共軛方向法原理共軛方向法迭代步驟共軛梯度法基本思想共軛梯度法迭代步驟共軛梯度法FR公式共軛梯度法PRP公式和DM公式與FR公式類似，我們還還可以采用Polak-Ribilere-Polyak(PRP)公式和Dixon-Myers公式。其形式分別為FR、PRP、DM這三個(gè)公式對于二次型函數(shù)問題的求解效果相同，對于非二次型函數(shù)在數(shù)值計(jì)算上會有差異，結(jié)果也會有所不同。共軛梯度法例1利用FR法求解無約
5、束非線性規(guī)劃問題擬牛頓法什么是擬牛頓法擬牛頓法的優(yōu)點(diǎn)僅需一階導(dǎo)數(shù)（牛頓法需二階導(dǎo)數(shù)）保持正定，使得方法具有下降性質(zhì)每次迭代需次乘法運(yùn)算（牛頓法需次乘法運(yùn)算）搜索方向是相互共軛的，從而具有二次終止性變尺度算法概述變尺度法又稱Davidon-Fletcher-Powell(DFP)算法，這是因?yàn)樵撍惴ㄔ?959年由Davidon提出，后來經(jīng)Fletcher和Powell解釋并改進(jìn)而得名。它是變尺度算法中提得最早的一個(gè)，該算法超線性收斂，對解多元函數(shù)的無約束極小是一個(gè)比較好的方法。該算法屬于擬牛頓法的一種，變尺度法是求解無
6、約束極值問題的一種有效方法，由于它避免了計(jì)算二階導(dǎo)數(shù)矩陣及其求逆計(jì)算，又比梯度法的收斂速度快，特別是對高維問題具有顯著的優(yōu)越性，因而使變尺度法獲得了很高的聲譽(yù)，被稱之為在算法上有“突破”。例如在1962年以前，由于原有各種算法計(jì)算耗時(shí)太多，因而求解非線性函數(shù)的極小值一般只能計(jì)算10個(gè)變量以下的問題，而應(yīng)用了DFP法，可以在幾分鐘內(nèi)計(jì)算出100個(gè)變量的函數(shù)極小值，有的問題只用半分鐘即可解出。而相應(yīng)的問題用其它算法求解，則要30分鐘才能解出。變尺度法和共軛梯度法一樣，都是為了克服梯度法收斂慢和Newton法計(jì)算工作量大的
7、缺點(diǎn)而提出來的一種算法。變尺度算法基本思想變尺度算法DFP算法BFGS算法變尺度算法迭代步驟變尺度算法例1利用變尺度算法求解無約束非線性規(guī)劃問題變尺度算法變尺度算法變尺度算法變尺度算法和共軛梯度法的統(tǒng)一多維無約束優(yōu)化的求解函數(shù)fminunc概述MATLAB優(yōu)化工具箱中提供了多維無約束非線性優(yōu)化的求解函數(shù)fminunc，在MATLAB的該求解函數(shù)中運(yùn)用到了我們前面提到的多種算法，例如利用梯度信息或者Hessian矩陣信息的迭代算法，或者如果用戶不提供梯度信息的話，可能使用到有限差分形式去估計(jì)相應(yīng)值的方法。在下面函數(shù)使用
8、過程中的算法和參數(shù)的設(shè)置時(shí)，將會重點(diǎn)講述這些問題調(diào)用格式：x=fminunc(fun,x0)x=fminunc(fun,x0,options)x=fminunc(problem)[x,fval]=fminunc(...)[x,fval,exitflag]=fminunc(...)[x,fval,exitflag,output]=fminunc(
