多維無約束優(yōu)化算法.docx

《多維無約束優(yōu)化算法.docx》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、多維無約束優(yōu)化算法多維無約束優(yōu)化問題的一般數學表達式為：求n維設計變量使目標函數多維無約束優(yōu)化算法就是求解這類問題的方法，它是優(yōu)化技術中最重要最基礎的內容之一。因為它不僅可以直接用來求解無約束優(yōu)化問題，而且實際工程設計問題中的大量約束優(yōu)化問題，有時也是通過對約束條件的適當處理，轉化為無約束優(yōu)化問題來求解的。所以，無約束優(yōu)化方法在工程優(yōu)化設計中有著十分重要的作用。b5E2RGbCAP目前已研究出很多種無約束優(yōu)化方法，它們的主要不同點在于構造搜索方向上的差別。<1）間接法——要使用導數，如梯度法、<阻尼）牛頓法、變尺度法

2、、共軛梯度法等。<2）直接法——不使用導數信息，如坐標輪換法、鮑威爾法單純形法等。用直接法尋找極小點時，不必求函數的導數，只要計算目標函數值。這類方法較適用于解決變量個數較少的

3、n維問題轉化為一系列沿負梯度方向用一維搜索方法尋優(yōu)的問題，利用負梯度作為搜索方向，故稱最速下降法或梯度法。DXDiTa9E3d搜索方向s取該點的負梯度方向(最速下降方向>，使函數值在該點附近的范圍內下降最快。為了使目標函數值沿搜索方向能夠獲得最大的下降值，其步長因子應取一維搜索的最佳步長。即有根據一元函數極值的必要條件和多元復合函數求導公式，得在最速下降法中，相鄰兩個迭代點上的函數梯度相互垂直。而搜索方向就是負梯度方向，因此相鄰兩個搜索方向互相垂直。這就是說在迭代點向函數極小點靠近的過程，走的是曲折的路線。形成“之”

4、字形的鋸齒現象，而且越接近極小點鋸齒越細。RTCrpUDGiT方法特點<1）初始點可任選，每次迭代計算量小，存儲量少，程序簡短。即使從一個不好的初始點出發(fā)，開始的幾步迭代，目標函數值下降很快，然后慢慢逼近局部極小點。5PCzVD7HxA<2）任意相鄰兩點的搜索方向是正交的，它的迭代路徑為繞道逼近極小點。當迭代點接近極小點時，步長變得很小，越走越慢。jLBHrnAILg梯度法的特點5/5<1）理論明確，程序簡單，對初始點要求不嚴格。<2）對一般函數而言，梯度法的收斂速度并不快，因為最速下降方向僅僅是指某點的一個局部性質

5、。<3）梯度法相鄰兩次搜索方向的正交性，決定了迭代全過程的搜索路線呈鋸齒狀，在遠離極小點時逼近速度較快，而在接近極小點時逼近速度較慢。xHAQX74J0X<4）梯度法的收斂速度與目標函數的性質密切相關。對于等值線(面>為同心圓<球）的目標函數，一次搜索即可達到極小點。LDAYtRyKfE梯度法由于每次迭代的搜索方向是取函數的最速下降方向，因此又稱它為最速下降法。從這點看，容易使人認為，這種方法是一個使函數值下降最快的方法，但實際上并不是這樣，計算表明，此法往往收斂得相當慢。這是由于梯度法的相鄰兩次搜索方向是相互正交的

6、，所以，當二元二次函數的等值線是比較扁的橢圓時，其梯度法逼近函數極小值的過程呈直角鋸齒狀，如圖8-15(b>所示。Zzz6ZB2Ltk這種算法的優(yōu)點是迭代過程簡單，要求的存儲量也少，而且在遠離極小點時，函數下降還是比較快的。因此，常常將它與其它方法結合，在計算的前期使用最速下降方向，當接近極小點時，再改用其它搜索方向，以加快收斂速度。dvzfvkwMI12、牛頓法<二階梯度法）基本思想：在xk鄰域內用一個二次函數來近似代替原目標函數，并將的極小點作為對目標函數求優(yōu)的下一個迭代點。經多次迭代，使之逼近目標函數的極小點。

7、rqyn14ZNXI牛頓法是求函數極值的最古老算法之一。5/5設為的極小點這就是多元函數求極值的牛頓法迭代公式。對于二次函數，海賽矩陣H是一個常矩陣，其中各元素均為常數。因此，無論從任何點出發(fā)，只需一步就可找到極小點。EmxvxOtOco從牛頓法迭代公式的推演中可以看到，迭代點的位置是按照極值條件確定的，其中并未含有沿下降方向搜尋的概念。因此對于非二次函數，如果采用上述牛頓迭代公式，有時會使函數值上升。SixE2yXPq53、修正牛頓法<阻尼牛頓法）阻尼因子，沿牛頓方向進行一維搜索的最佳步長，由下式求得：方法特點：<

8、1）初始點應選在X*附近，有一定難度；<2）若迭代點的海賽矩陣為奇異，則無法求逆矩陣，不能構造牛頓法方向；<3）?不僅要計算梯度，還要求海賽矩陣及其逆矩陣，計算量和存儲量大。此外，對于二階不可微的F(X>也不適用。6ewMyirQFL雖然阻尼牛頓法有上述缺點，但在特定條件下它具有收斂最快的優(yōu)點，并為其他的算法提供了思路和理論依據。4、變尺度法D