2021年最优化设计.ppt

§2-1 多元函数的方向导数与梯度 (1)
一、方向导数
方向导数的特例。图2-1和图2-2表明在二维和三维空间中 方向导数与偏导数的数量关系。n元函数 f(x1, x2, …, xn)在x0处沿d方向的方向导数为
是函数f(x) 在x0处沿d方向的方向导数。偏导数是
式中i 为d方向和坐标轴xi方向之间夹角的余弦。
二、二元函数的梯度
二元函数f(x1, x2)在x0处的梯度定义为：
1
最优化设计
2021/1/15
§2-1 多元函数的方向导数与梯度 (2)
图2-3表明梯度方向与等值线的关系。梯度方向是等值面的法线方向，也是函数值变化最快的方向，而梯度的模就是函数变化率的最大值。梯度f(x0)方向是函数变化率最大的方向，即最速上升方向；负梯度-f(x0)方向为最速下降方向。
例2-1（图2-4）
梯度方向用其单位向量 p 表示：
2
最优化设计
2021/1/15
§2-1 多元函数的方向导数与梯度 (3)
三、多元函数的梯度
将二元函数推广到多元函数，则函数f(x1, x2, …, xn)在 x0(x10, x20, …, xn0) 处的梯度可定义为
而梯度 f(x0) 的模为
梯度方向用其单位向量 p 表示为：
图2-5表明梯度方向与等值面的关系。梯度方向与函数等直面 f(x) = c 相垂直。
3
最优化设计
2021/1/15
§2-2 多元函数的泰勒展开 (1)
一元函数 f(x) 在 x=x0 点处的泰勒展开式为
式中 x  x-x0 ，x2 =(x-x0)2 。
二元函数 f(x1, x2) 在x0(x10, x20 )点处的泰勒展开式为
式中 x1  x1-x10 ，x2  x2-x20 。
上式的矩阵形式为
其中
4
最优化设计
2021/1/15
§2-2 多元函数的泰勒展开 (2)
海赛(Hessian)矩阵G(x0)是 f(x)的二阶偏导数组成的对称矩阵。
例2-2 (图2-6) 求二元函数 f(x1, x2) = x12+ x224x1  2x2+5 在 x0 = [2 1]T 处的二阶泰勒展开式。
f(x10 , x20) = 4 + 1  8  2 + 5 = 0
由于函数的二次连续性，有
。
5
最优化设计
2021/1/15
§2-2 多元函数的泰勒展开 (3)
这是一个以 x0 点为顶点的旋转抛物面，如图2-6所示。
将二元函数的泰勒展开式推广到多元函数时，则有 (2-5) 式。
许多优化算法取到泰勒展开式的二次项，使目标函数表现为二次函数。
正定矩阵：
对任何非零向量 x，使 f(x)=xTGx0，则二次型函数f(x)正定，G 为正定矩阵。
例2-2 (续)
6
最优化设计
2021/1/15
§2-3 无约束优化问题的极值条件 (1)
一元函数 f(x)在 x=x0 取得极值的必要条件为f’(x0)=0。
二元函数 f(x1, x2)在 x=x0(x10, x20) 取得极值的必要条件为f(x1, x2)的偏导数为零，即
即 f(x0) = [0 0]T
充分条件：海赛矩阵G(x0)正定，即一、二阶主子式均大于零。
例2-3 求函数 f(x1, x2 )=x12+x22 4x1 2x2+5 的极值。
根据必要条件，令
求得驻点为: x0=[x10 x20]T=[2 1]T
7
最优化设计
2021/1/15
§2-3 无约束优化问题的极值条件 (2)
例2-3 (续）
G(x0) 的一阶主子式和二阶主子式分别为
 0
 0
因对于复杂的目标函数，海赛矩阵不易求得，故多元函数的极值条件在优化方法中仅具有理论意义。
 G(x0)正定。
f(x0)= 0
任取一点 (0, 0) 代入 f(x)，f(0, 0) = 5  f(x0)。
 x0 = [2 1]T 是极小点，f(x0)= 0 是极小值。
8
最优化设计
2021/1/15
§2-4 凸集、凸函数与凸规划 (1)
局部最优点与全局最优点
局部最优点具有局部的性质，只是对它的邻域或局部区域而言是最优。而全局最优点是所有局部最优点中的最好点。任何一个工程优化问题当然希望找到全局最优点，但目前这是一个尚未完