五种最优化方法.doc

实用标准文案
: .
五种最优化方法
1. 最优化方法概述

1） 无约束和有约束条件；
2） 确定性和随机性最优问题（变量是否确定）；
3） 线性优化与非线性优化（目标函数和约束条件是否线性）；
4） 静态规划和动态规划（解是否随时间变化）。
（有约束条件）：
min f（X）
hb（X） = 0,1 = 12, L

sJX） > 0J = 1,2,.... m
式中f（X）称为目标函数（或求它的极小，或求它的极大），si（X）称为不等式约 束，hj（X）称为等式约束。化过程就是优选 X，使目标函数达到最优值。


1） 解决的是无约束非线性规划问题；
2） 是求解函数极值的一种方法；
3） 是一种函数逼近法。

精彩文档
实用标准文案
■1：顿法的直本思想显*在扱小点附近用-阶Taylor 顶式近似口标函数［'、宀进而 求出极小点的估计值，
老億问题
min /（j-J , x IRL £ 丄 3. 1》
令
祕JT）= f（*r — 0”）+*/*"*）"-f }' .
耳令
Z > -门 d时）•+ >< J-- = 0
，记作工"小 侧
在点阳近■/ ）•因此可用函数刊幻的极小点作为目标函数丿（』）的极小
点的估计•如里「更f工、的极小点的 个估计，那么利W 9,） •个进 *利用迭代公式（乩3. 2）可以得到 个洋列 H 可以证明"隹 定条件F・这个序列收敛于冋题（9飞”门的绘优解，而且是2级收敛
（梯度法）

1） 解决的是无约束非线性规划问题；
2） 是求解函数极值的一种方法：
3） 沿函数在该点处目标函数下降最快的方向作为搜索方向;

精彩文档
实用标准文案
就速卜降法的迭代公式是
这里取在点
(10. L 10)
其中旷是从中咄发的搜索方向,
处的量速下睫方I治
E|J
精彩文档
实用标准文案
精彩文档
实用标准文案
( J1)
九是从严出发沿方向屮进彳f一维搜索的步长，即花满足
f（x'k, +入皿"）=mnf（xlk） +M"）
a
计算步骤如下;
（冷绘圧初点兰门£ ” '允许误差e>OTKI = L
（2）计算搜索方向d出—vy（x（H）.
⑶若I & I!（，则停止计算;否则，从厂出发，沿进行一维搜索，求秸，使
f(x ' )= mnf(x + Ad '、、
（4）令严山=r,i, Ufl，置* =左+ 1，转步骤（2）.
4•模式搜索法（步长加速法）

1） 解决的是无约束非线性规划问题；
2） 不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函 数的优化问题时非常有效。
3） 模式搜索法每一次迭代都是交替进行轴向移动和模式移动。 轴向移动的目的 是探测有利的下降