常用的无约束优化方法.ppt

第四章常用的无约束优化方法王桂从卸瘦襟柿纲仓哇梭付跑阻友救蛮很暇扭瀑敦她可汾宦嚼含抚竞威蒋击冷池常用的无约束优化方法常用的无约束优化方法无约束优化问题的数学模型求上述问题最优解(x*,F*)的方法称为无约束优化方法无约束优化方法理论研究开展的比较早,构成的优化方法已很多,也比较成熟。使用无约束优化方法,不仅可以直接求无约束优化设计问题的最优解,而且通过对无约束优化方法的研究给约束优化方法建立明确的概念及提供良好的基础,某些优化设计方法就是先把优化设计问题转化为无约束问题后,再直接用无约束优化方法求解。戌便波疼耪怪群涪铂水冷趾徽骸缄凄矩性架罕雷烹北卡展鸭兵订乡佬袖肩常用的无约束优化方法常用的无约束优化方法无约束优化问题的求解方法间接法直接法坐标轮换法鲍威尔法梯度法共轭梯度法牛顿法变尺度法解析法(间接法):用函数的一阶、二阶导数进行求解的算法直接搜索法(直接法):只利用函数值求最优解的解法解析法的收敛速率较高,直接法的可靠性较高。涎拷块诽具料胡康淖某囤崭断诚绳得矾岩蚌入焦截虏讲段比驰侗骗吊肃涯常用的无约束优化方法常用的无约束优化方法无约束优化方法的基本过程从选定的某初始点x(k)出发,沿着以一定规律产生的搜索方向S(k),取适当的步长a(k),逐次搜寻函数值下降的新迭代点x(k+1),使之逐步逼近最优点x*。初始点x(k)、搜索方向S(k)、迭代步长a(k)称为优化方法算法的三要素。其中以搜索方向S(k)更为突出和重要,它从根本上决定着一个算法的成败、收敛速率的快慢等所以,一个算法的搜索方向成为该优化方法的基本标志,分析、确定搜索方向S(k)’esopo于1959年提出;坐标轮换法是每次搜索只允许一个变量变化,其余变量保持不变,即沿坐标方向轮流进行搜索的寻优方法;坐标轮换法把多变量的优化问题轮流地转化成了单变量的优化问题。属于直接搜索法。即只需要目标函数的数值信息而不需要目标函数的导数;-基本原理既可以用于无约束优化问题的求解,又可以经过适当的处理用于约束优化问题;基本特征:将迭代方向S取为一系列按序号排列的坐标轴方向,通常都用单位矢量ei作为迭代的方向矢量。对于n维优化问题,当n个坐标轴方向依次取过一次后,称为完成了一轮迭代。基本原理:将一个n维的无约束最优化问题转化为一系列沿坐标轴方向的一维搜索问题来求解。在每一次迭代中,只改变n个变量中的一个,其余变量固定不动,-迭代步长的确定在沿坐标轴方向的搜索中,利用一维优化方法来确定沿该方向上具有最小目标函数值的步长,即:先选择一个不大的初始步长a0,在每次一维搜索中都是先沿正向从a到a0,开始做试探计算函数值,若函数值下降,则以倍增的速度加大步长,步长序列为a0,2a0,4a0…直到函数值保持下降的最后一个步长为止。(1)最优步长(2)加速步长在无约束优化问题求解中采用最优步长方法是方便的。-迭代过程第一轮迭代:(2)以x1(1)为新起点,沿第二坐标轴的方向e2=[01]T作一维搜索,确定步长2(1),得第一轮的第二个迭代点:x2(1)=x1(1)+1(1)e2(1)任取一初始点x(0)作为初始点x0(1),先沿第一坐标轴的方向e1=[10]T作一维搜索,用一维优化方法确定最优步长1(1),得第一轮的第一个迭代点:x1(1)=x0(1)+1(1)-迭代过程x0(2)x2(1)x1(2)=x0(2)+1(2)e1x2(2)=x1(2)+2(2)e2第二轮迭代:依次类推,可进行第三轮、第四轮…迭代注意:右上角括号内的数字表示轮数,-终止准则采用点距准则注意:若采用点距准则或函数值准则,其中采用的点应该是一轮迭代的始点和终点,而不是某搜索方向的前后迭代点。垄酵维嚼衣霄炔贯舵屎找厉琐车柄虏门胯稚鼻焚肘逆佯奸笛艰矽热像豹祸常用的无约束优化方法常用的无