神经网络BP算法课件PPT.pptx

反向传输网络
Back—Propagation Network，因为其权值调整采取反向传输（Backpropagation）学****算法，所以被称为BP网络。
神经网络BP算法专家讲座
第1页
BP网络
25页
神经网络BP算法专家讲座
第26页
神经网络BP算法专家讲座
第27页
神经网络BP算法专家讲座
第28页
神经网络BP算法专家讲座
第29页
神经网络BP算法专家讲座
第30页
神经网络BP算法专家讲座
第31页
神经网络BP算法专家讲座
第32页
神经网络BP算法专家讲座
第33页
初始化
加输入和期望输出
计算隐层和输出层输出
迭代次数加1
调整输出层和隐层连接权值
改变训练样板
训练样终止？
迭代终止？
BP算法基本流程
No
No
y
y
神经网络BP算法专家讲座
第34页
BP网络模式识别
一、
因为神经网络含有自学****自组织和并行处理等特征，并含有很强容错能力和联想能力，所以，神经网络含有模式识别能力。
在神经网络识别中，依据标准输入输出模式对，采取神经网络学****算法，以标准模式作为学****样本进行训练，经过学****调整神经网络连接权值。
当训练满足要求后，得到知识库，利用神经网络并行推理算法便可对所需输入模式进行识别。
神经网络BP算法专家讲座
第35页
BP网络训练过程
为了训练一个BP网络，需要计算网络加权输入矢量以及网络输出和误差矢量，然后求得误差平方和。
当所训练矢量误差平方和小于误差目标，训练则停顿，不然在输出层计算误差改变，且采取反向传输学****规则来调整权值，并重复此过程。
当网络完成训练后，对网络输入一个不是训练集合中矢量，网络将给出输出结果。
神经网络BP算法专家讲座
第36页
为了能够很好地掌握BP网络训练过程，我们再用两层网络为例来叙述BP网络训练步骤。
1)用小随机数对每一层权值W初始化，以确保网络不被大加权输入饱和；
2)计算网络各层输出矢量A1和A2以及网络误差E
神经网络BP算法专家讲座
第37页
3)计算各层反传误差改变并计算各层权值修正值以及新权值
4)再次计算权值修正后误差平方和：
5)检验误差是否小于给定误差，若是，训练结束；不然继续。
神经网络BP算法专家讲座
第38页
以上全部学****规则与训练全过程，。它使用一样只需要定义相关参数：显示间隔次数，最大循环次数，目标误差，以及学****速率，而调用后返回训练后权值，循环总数和最终误差：
TP＝[disp_freq max_epoch err_goal 1r]；
[W，B，epochs，errors]＝trainbp(W，B，’F’，P，T，TP)；
神经网络BP算法专家讲座
第39页
基于BP算法多层前馈网络用图像压缩编码
Ackley和Hinton等人1985年提出了利用多层前馈神经网络模式变换能力实现数据编码基本思想。
其原理是，把一组输入模式经过少许隐层节点映射到一组输出模式，并使输出模式等同于输入模式。当中间隐层节点数比输入模式维数少时，就意味着隐层能更有效表现输入模式，并把这种表现传给输出层。在这个过程中，输入层和隐层变换能够看成是压缩编码过程；而隐层和输出层变换能够看成是解码过程。
神经网络BP算法专家讲座
第40页
用多层前馈网实现图像数据压缩时，只需一个隐层，如图
原图像
n
n
重建图像
n
n
神经网络BP算法专家讲座
第41页
输入层和输出层均含有n*n个神经元，每个神经元对应于n*n图像分块中一个像素。隐层神经元数量由图像压缩比决定，如n=16时，取隐层神经元数为m=8，则可将　256像素图像块压缩为８像素。
经过调整权值使训练集图像重建误差到达最小。训练后网络就能够用来执行图像数据压缩任务了，此时隐层输出向量便是数据压缩结果，而输出层输出向量便是图像重建结果。
神经网络BP算法专家讲座
第42页
黑白图像边缘检测：
神经网络BP算法专家讲座
第43页
分析BP网络结构特点：
1. BP网络含有一层或多层隐含层，与其它网络模型除了结构不一样外，主要差异