(完整word版)五种最优化方法.doc

: .
五种最优化方法
1. 最优化方法概述

1） 无约束和有约束条件；
2） 确定性和随机性最优问题（变量是否确定）；
3） 线性优化与非线性优化（目标函数和约束条件是否线性）；
4） 静态规划和动态规划（解是否随时间变化）。
（有约束条件）：
mtn f（X）
h/X） = OJ = U“,L

式中f（X）称为目标函数（或求它的极小，或求它的极大），si（X）称为不等式约
束，hj（X）称为等式约束。化过程就是优选 X，使目标函数达到最优值。
2. 牛顿法

1） 解决的是无约束非线性规划问题；
2） 是求解函数极值的一种方法；
3） 是一种函数逼近法。

牛顿法的加応思鯉U茁 在扱小点附近用二阶「勰芮多顶试近似口标函数f■- . h进而 求出极小点的佔计值.
老虑问鎚
min f（T） . j IPi1. c 9, 3* i 3
w（x） = f（*“ " —工+2/*“⑹）（才一+即）-.
2
4a〉- /1 上⑷）* >< j-- 、- o
得到梓」）的莊点*记作（
小'侧
疋⑷=工"一另寻（乩乩2）
/ （ j j
在点 严雎近，/ p注初$梟大I此可用函数 心 的极小点作滝目标函数/（』）的极小 点的估计•如里』 ―、的機小点的 个估计，那么利W 9,）
•个进 ,判用迭代公式< 9. 3. 2）可以得到 个序列 可以证明"孤
淀条件钱 这个序列收敛于问题（”门的绘优解‘血月,是2级收敛
**■ ■, -s-m Mi r ■ *n 尸* H if ± A ■■ "nt- tdH （ITA B—I 讯 J- •■* r :k
3. 最速下降法（梯度法）

1） 解决的是无约束非线性规划问题；
2） 是求解函数极值的一种方法；
3） 沿函数在该点处目标函数下降最快的方向作为搜索方向;

址速卜降法的迭代公式是
（10 丄 10）
其中旷是从屮咄发的搜索方向,
这4W在点*川处的E谏卜'隆方向,即
九是从卅出发沿方向屮进彳f一维搜索的步长，即儿满足
f 屮 +入皿闪）=min/（Xa, +M"） （ ）
a
计算步骤如下：
（1）绐企初，允许误差e>0,KI-k
⑵计算搜索方向肝=—巧（严）.
（3）若II广|| 则停止计算:否则，从^出发，沿d⑷进行一维搜索，求入「使
/（工爾）= min/（F"+M小）b
（4）令严小=暑⑷UM，置和二左+ 1，转步骤（2）.
4•模式搜索法（步长加速法）

1） 解决的是无约束非线性规划问题；
2） 不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函 数的优化问题时非常有效。
3） 模式搜索法每一次迭代都是交替进行轴向移动和模式移动。 轴向移动的目的 是探测有利的