最优化方法复习.doc

§,在满足相关要求的前提下,以尽可能高的效率求得工程问题最优解决方案的过程。§:、约束条件、目标函数称为优化设计的三要素!设计空间:由设计变量所确定的空间。设计空间中的每一个点都代表一个设计方案。§,优化问题有多种分类方法:1按照模型中是否存在约束条件,分为约束优化和无约束优化问题2按照目标函数和约束条件的性质分为线性优化和非线性优化问题3按照目标函数个数分为单目标优化和多目标优化问题4按照设计变量的性质不同分为连续变量优化和离散变量优化问题第2章最优化问题的数学基础§、,且。若存在维向量,对于任意维向量,都有则称在处可微。,,在其定义域内连续可导。我们把在定义域内某点处的所有一阶偏导数构成的列向量,定义为在点处的梯度。记为:梯度有3个性质:⑴函数在某点的梯度方向为函数过该点的等值线的法线方向;⑵函数值沿梯度方向增加最快,沿负梯度方向下降最快;⑶梯度描述的只是函数某点邻域内的局部信息。§、,若存在及实数,使得都有,则称为的局部极小点;若,则称为的严格局部极小点。若,都有,则称为的全局极小点,若,则称为的全局严格极小点。对最优化问题而言满足所有约束条件的向量称为上述最优化问题的一个可行解,全体可行解组成的集合称为可行解集。在可行解集中,满足:的解称为优化问题的最优解。:设,若对所有的,及,都有,则称为凸集。凸函数:设,是凸集,如果对于所有的,及,都有,则称为上的凸函数。二、局部极小点的判别条件驻点:设是定义在维空间的子集上的元实值函数,是的内点,若,则称为的驻点。局部极小点的判别:设是定义在维空间的子集上的元实值函数,具有连续的二阶偏导数。若是的驻点,且是正定矩阵,则是的严格局部极小点。三、:若、都是凸函数,则称该优化问题为凸规划。,则该优化问题的可行集为凸集,其任何局部最优解都是全局最优解。(能否证明)第3章无约束优化方法§、数值优化方法的基本思想基本思想就是在设计空间内选定一个初始点,从该点出发,按照某一方向(该方向的确定原则是使函数值下降)前进一定的步长,得到一个使目标函数值有所下降的新设计点,然后以该点为新的初始点,重复上面过程,直至得到满足精度要求的最优点。该思想可用下式表示:二、迭代计算的终止准则工程中常用的迭代终止准则有3种:⑴点距准则相邻两次迭代点之间的距离充分小时,迭代终止。数学表达为:⑵函数下降量准则(值差准则)相邻两次迭代点的函数值之差充分小,迭代终止。数学表达为:⑶梯度准则目标函数在迭代点处的梯度模充分小时,迭代终止。数学表达为:三、算法的收敛速度对于某一确定的下降算法,其优劣如何评价?人们通常采用收敛速度来评价。下面给出度量收敛速度的几个概念。,若存在常数及、,使当时下式:成立,则称为阶收敛。,若存在常数、及,使当时下式:成立,则称为线性收敛。,若任给都存在,使当时下式:成立,则称为超线性收敛。§、确定初始区间的进退法任选一个初始点和初始步长,由此可确定两点和,通过比较这两点函数值、的大小,来决定第三点的位置。比较这三点函数值是否呈“高——低——高”排列特征,若是则找到了单峰区间,否则向前或后退继续寻求下一点。进退法依据的基本公式:具体步骤为:⑴任意选取初始点和恰当的初始步长;⑵令,取,计算、;⑶若,说明极小点在右侧,应加大步长向前搜索。转⑷;若,说明极小点在左侧,应以点为基准反向小步搜索。转⑹;⑷大步向前搜索:令,取,计算;⑸若,则、、呈“高——低——高”排列,说明即为所求的单峰区间;若,说明极小点在右侧,应加大步长向前搜索。此时要注意做变换:舍弃原点,以原点为新的点,原点为新的点。转⑷,直至出现“高——低——高”排列,则单峰区间可得;⑹反向小步搜索(要注意做变换):为了保证点计算公式的一致性,做变换:将原点记为新点,原点记为新点,令,取,转⑸例:用进退法确定函数的单峰区间[a,b],设初始点,。解:①②③说明极小点在点右侧,应加大步长向前搜索④令,取则⑤说明极小点在点右侧,应加大步长向前搜索舍弃原的点,令,则令,取则、、呈“高——低——高”排列为单峰区间,即区间[1,7]即为所