第06讲反向传播网络.ppt

第06讲反向传播网络
第1页，共37页，2022年，5月20日，13点56分，星期五
反向传播网络(Back—Propagation Network，简称BP网络)是将W—H学****规则一般化，）
（）
（）
第13页，共37页，2022年，5月20日，13点56分，星期五
通过MATLAB的实现过程：
1)对于(6．1)式所表示的隐含层输出，若采用对数S型激活函数，；若采用双曲正切S型激活函数，；
2)对于(6．2)式所表示的输出层输出，；
3)对于(6．3)式所表示的误差函数，；
4)(6．4)、(6．7)、(6．8)和(6．10)式所表示的输出层以及隐含层中权值与偏差的变化量；
5)由()和()、、。它们分别用于线性层、双曲正切层和对数层。
第14页，共37页，2022年，5月20日，13点56分，星期五
6．2．3 误差反向传播的流程图与图形解释
误差反向传播过程实际上是通过计算输出层的误差ek，然后将其与输出层激活函数的一阶导数f2’相乘来求得δki。
由于隐含层中没有直接给出目标矢量，所以利用输出层的δki反向传递来求出隐含层权值的变化量Δw2ki。然后计算
并同样通过将ei与该层激活函数的一阶导数f1’相乘，而求得δij，以此求出前层权值的变化量Δw1ij。如果前面还有隐含层，沿用上述同样方法依此类推，一直将输出误差ek一层一层的反推算到第一层为止。
第15页，共37页，2022年，5月20日，13点56分，星期五
图6．4 误差反向传播法的图形解释
第16页，共37页，2022年，5月20日，13点56分，星期五
BP网络的训练过程
为了训练一个BP网络，需要计算网络加权输入矢量以及网络输出和误差矢量，然后求得误差平方和。
当所训练矢量的误差平方和小于误差目标，训练则停止，否则在输出层计算误差变化，且采用反向传播学****规则来调整权值，并重复此过程。
当网络完成训练后，对网络输入一个不是训练集合中的矢量，网络将以泛化方式给出输出结果。
第17页，共37页，2022年，5月20日，13点56分，星期五
为了能够较好地掌握BP网络的训练过程，我们用两层网络为例来叙述BP网络的训练步骤。
1)用小的随机数对每一层的权值W和偏差B初始化，以保证网络不被大的加权输入饱和；并进行以下参数的设定或初始化：
a)期望误差最小值error_goal；
b)最大循环次数max_epoch；
c)修正权值的学****速率1r，一般情况下k＝0．0l~0．7；
d)从1开始的循环训练：for epoch＝1：max_epoch；
第18页，共37页，2022年，5月20日，13点56分，星期五
2)计算网络各层输出矢量A1和A2以及网络误差E：
A1＝tansig(W1*P，B1)；
A2＝purelin(W2*A1，B2)；
E＝T-A；
3)计算各层反传的误差变化D2和D1并计算各层权值的修正值以及新权值：
D2＝deltalin(A2，E)；
D1＝deltatan(A1，D2，W2)；
[dlWl，dBl]＝learnbp(P，D1，lr)；
[dW2，dB2]＝1earnbp(A1，D2，1r)；
W1＝W1十dW1；B1＝B1十dBl；
W2＝W2十dW2；B2＝B2十dB2；
第19页，共37页，2022年，5月20日，13点56分，星期五
4)再次计算权值修正后误差平方和：
SSE＝sumsqr(T-purelin(W2*tansig(W1*P，B1)，B2))；
5)检查SSE是否小于err_goal，若是，训练结束；否则继续。
以上所有的学****规则与训练的全过程，。它的使用同样只需要定义有关参数：显示间隔次数，最大循环次数，目标误差，以及学****速率，而调用后返回训练后权值，循环总数和最终误差：
TP＝[disp_freq max_epoch err_goal 1r]；
[W，B，epochs，errors]＝trainbp(W，B，’F’，P，T，TP)；
第20页，共37页，2022年，5月20日，13点56分，星期五
[例6．1]用于函数逼近的BP网络的设计。
P=-1::1；
T=[- -