工程优化方法第1章.ppt

工程优化方法第1章
（一）根据问题的不同特点分类
无约束最优化问题

约束最优化问题
等式约束优化问题
不等式约束优化问题
一般的约束优化问题
以上为标准形式，某些问题可标准化：
1）
2）
j =1
为由向量d (1) , d (2) , … , d (m) 生成的子空间，简记
为L。
正交子空间：设 L 为Rn的子空间，其正交子空间为
L＝{ x  Rn xTy=0 ,  y L }
子空间投影定理：设 L 为Rn的子空间。那么 z Rn， 唯一 x L , y L, 使 z=x+y , 且 x 为问题
min ‖z - u‖
. u  L 的唯一解，最优值为‖y‖。
特别， L ＝Rn 时，正交子空间 L＝{ 0 }（零空间）
规定：x , y  Rn，x ≤ y  xi ≤ yi ，i 类似规定 x ≥ y，x = y，x < y , x > y .
一个有用的定理:
设 xRn，R，L为Rn 的线性子空间，
(1)若 xTy ≤  ,  yRn 且 y ≥ 0，
则 x ≤ 0， ≥ 0 .
(2)若 xTy ≤  ,  y  L  Rn ，
则 x  L， ≥ 0 .(特别, L＝Rn时,x =0)
定理的其他形式：
“若 xTy ≤  ,  yRn 且 y ≤ 0，则 x ≥ 0， ≥ 0 .”
“若 xTy ≥  ,  yRn 且 y ≥ 0，则 x ≥ 0， ≤ 0 .”
“若 xTy ≥  ,  yRn 且 y ≤ 0，则 x ≤ 0， ≤ 0 .”
“若 xTy ≥  ,  y  L  Rn ， 则 x  L， ≤ 0 .”
3、多元函数及其导数
(1) n元函数：f (x): Rn  R
线性函数：f (x) = cTx + b =  ci xi + b
二次函数：f (x) = (1/2) xTQx + cTx + b
= (1/2)i j aij xi xj +  ci xi + b
向量值线性函数：F(x) = Ax + d  Rm
其中 A为 mn矩阵，d为m维向量
F(x)=( f1(x), f2(x), … , fm(x) )T
记 aiT为A的第i行向量，fi(x) = aiTx+di
(2) 梯度（一阶偏导数向量）：
f (x)＝ Rn .

线性函数：f (x) = cTx + b , f (x) = c
二次函数：f (x) = (1/2) xTQx + cTx + b
 f (x) = Qx + c
注：Q为对称阵
向量值线性函数：F(x) = Ax + d  Rm
 F /  x = AT
(3) Hesse 阵（二阶偏导数矩阵）：
线性函数：f (x) = cTx + b , 2f (x) = 0
二次函数：f (x) = (1/2) xTQx + cTx + b,
2f(x)=Q 注：Q为对称阵
(4)n元函数的Taylor展开式及中值公式：
设 f (x): Rn  R ，二阶可导。在x* 的邻域内
一阶Taylor展开式：
f (x) = f (x*)+ f T(x*)(x-x*) + o‖x-x*‖
二阶Taylor展开式：
f (x) = f (x*)+ f T(x*)(x-x*) + (1/2)(x-x*)T 2f (x*)(x-x*)
+ o‖x-x*‖2
一阶中值公式：对x,   , 使
f (x) = f (x*)+ ［f (x*+(x-x*))]T(x-x*)
Lagrange余项：对x,   , 记xx*+ (x-x*)
f (x) = f (x*)+ f T(x*)(x-x*) + (1/2)(x-x*)T H (x )(x-x*)
(