算法的程序实现ppt课件.ppt

BP算法的程序实现
(1)初始化;
(4)计算各层误差信号;
(5)调整各层权值;
(6)检查是否对所有样本完成一次
轮训;
(7)检查网络总误差是否达到精
度要求。
(2)输入训练样本对X Xp、d dp
计算各层输出;
(3)计算网络输出误差;
1
BP算法的程序实现
然后根据总误差计算各层的误差信号并调整权值。
另一种方法是在所有样本输入之后,计算网络的总误差:
2
多层前馈网(感知器)的主要能力
(1)非线性映射能力
多层前馈网能学****和存贮大量输入-输出模式映射关系,而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学****训练,它便能完成由n维输入空间到m维输出空间的非线性映射。
3
多层前馈网(感知器)的主要能力
(2)泛化能力
当向网络输入训练时未曾见过的非样本数据时,网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。
(3)容错能力
输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。
4

误差函数的可调整参数的个数 nw 等于各层权值数加上阈值数,即:
误差 E 是 nw+1 维空间中一个形状极为复杂的曲面,该曲面上的每个点的“高度”对应于一个误差值,每个点的坐标向量对应着 nw 个权值,因此称这样的空间为误差的权空间。
5

标准的BP算法在应用中暴露出不少内在的缺陷:
⑴易形成局部极小而得不到全局最优;
⑵训练次数多使得学****效率低,收敛速度慢;
⑶隐节点的选取缺乏理论指导;
⑷训练时学****新样本有遗忘旧样本的趋势。
针对上述问题,国内外已提出不少有效的改进算法,下面仅介绍其中3种较常用的方法。
8

1 增加动量项
α为动量系数,一般有α∈(0,1)
2 自适应调节学****率
设一初始学****率,若经过一批次权值调整后使总误差↑,则本次调整无效,且=β(β<1 );
若经过一批次权值调整后使总误差↓,则本次调整有效,且=θ(θ>1 )。
9

3 引入陡度因子
实现这一思路的具体作法是,在原转移函数中引入一个陡度因子λ
10