4-无约束优化方法-1.ppt

第1章所列举的机械优化设计问题,都是在一定的限制条件下追求某一指标为最小,它们都属于约束优化问题。工程问题大都如此。
为什么要研究无约束优化问题???
(1)、有些实际问题,其数学模型本身就是一个
无约束优化问题
(2)、通过熟悉它的解法可以为研究约束优化问
题打下良好的基础
(3)、约束优化问题的求解可以通过一系列无约
束优化方法来达到。所以无约束优化问题的
解法是优化设计方法的基本组成部分,也是
优化方法的基础
第4章无约束优化方法
无约束优化问题是:
求n维设计变量
使目标函数:
各种无约束优化解法的区别:搜索方向的不同
◆分类:
(1)直接解法---不使用导数信息,如坐标轮换法、Powell法、随机搜索法、单纯形法等
(2)间接解法(解析法)---要使用导数,二阶有梯度法、共轭梯度法、,二阶以上用牛顿法
搜索方向的构成问题是无约束优化方法的关键
无约束优化方法算法的基本过程是:
从选定的某初始点x(k)出发,沿着以一定规律产生的搜索方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的新迭代点x(k+1),使之逐步通近最优点x*
可以把初始点x(k) 、搜索方向S(k) 、迭代步长a(k) 称为优化方法算法的三要素。其中以搜索方向S(k)更为突出和重要,它从根本上决定若一个算法的成败、收敛速率的快慢等。
一个算法的搜索方向成为该优化方法的基本标志,分析、确定搜索方向S(k)是研究优化方法的最根本的任务之一
梯度法
函数的负梯度方向是函数值下降最快的方向
搜索方向d取该点的负梯度方向(最速下降方向) ,使函数值在该点附近的范围内下降最快
为了使目标函数值沿搜索方向能够获得最大的下降值,其步长因子应取一维搜索的最佳步长。即有
根据一元函数极值的必要条件和多元复合函数求导公式,得
在最速下降法中,相邻两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度方向,因此相邻两个搜索方向互相垂直。这就是说在迭代点向函数极小点靠近的过程,走的是曲折的路线。形成“之”字形的锯齿现象,而且越接近极小点锯齿越细.
例4-1 求目标函数的极小点。
解取初始点
则初始点处函数值及梯度分别为
沿负梯度方向进行一维搜索,有
为一维搜索最佳步长,应满足极值必要条件
算出一维搜索最佳步长
第一次迭代设计点位置和函数值
继续作下去,经10次迭代后,得到最优解
这一问题的目标函数f(x)的等值线为一簇椭圆。
将上例中目标函数引入变换
y1=x1, y2=5x2
则函数f(x)变为:
其等值线由椭圆变成一簇同心圆。
仍从即出发进行最速下降法寻优。此时:
沿负梯度方向进行一维搜索:
β
为一维搜索最佳步长,可由极值条件:
由
从而算得一步计算后设计点的位置及其目标函数: