第06讲反向传播网络.ppt

第06讲反向传播网络
6．2 BP学****规则
BP算法属于δ算法，是一种监督式的学****算法。
其主要思想为：对于q个输入学****样本：P1，P2，……Pq，已知与其对应的输出样本为：T1，T2，……Tq。
学****的目的是用网络的实际差平方和：
SSE＝sumsqr(T-purelin(W2*tansig(W1*P，B1)，B2))；
5)检查SSE是否小于err_goal，若是，训练结束；否则继续。
以上所有的学****规则与训练的全过程，。它的使用同样只需要定义有关参数：显示间隔次数，最大循环次数，目标误差，以及学****速率，而调用后返回训练后权值，循环总数和最终误差：
TP＝[disp_freq max_epoch err_goal 1r]；
[W，B，epochs，errors]＝trainbp(W，B，’F’，P，T，TP)；
[例6．1]用于函数逼近的BP网络的设计。
P=-1::1；
T=[- - - - - - - - - -];
比较trainbpx和trainbp的速度差别。

泛化性能：使网络平滑地学****函数，使网络能够合理地响应被训练以外的输入。
要注意的是，泛化性能只对被训练的输入／输出对最大值范围内的数据有效，即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的输出误差。
6．4 BP网络的设计
6．4．1网络的层数
理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。
增加层数主要可以更进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。
一般情况下，应优先考虑增加隐含层中的神经元数。
能不能仅用具有非线性激活函数的单层网络来解决问题呢？结论是：没有必要或效果不好。
6．4．2 隐含层的神经元数
网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层要简单得多。
在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量。
6．4．3初始权值的选取
一般取初始权值在(—1，1)之间的随机数。
威得罗等人在分析了两层网络是如何对一个函数进行训练后，提出一种选定初始权值的策略。
。
其方法仅需要使用在第一隐含层的初始值的选取上，后面层的初始值仍然采用随机取数。
6．4．4 学****速率
学****速率决定每一次循环训练中所产生的权值变化量。
大的学****速率可能导致系统的不稳定。
小的学****速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。
所以在一般情况下，倾向于选取较小的学****速率以保证系统的稳定性。学****速率的选取范围在0．01—0．8之间。
6．4．5 期望误差的选取
在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值。
这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得的。
一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络。
6．5 限制与不足
(1)需要较长的训练时间
(2)完全不能训练
通常为了避免这种现象的发生，一是选取较小的初始权值，二是采用较小的学****速率，但这又增加了训练时间。
(3)局部极小值
BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。
6．6 反向传播法的改进方法
主要目标是为了加快训练速度，避免陷入局部极小值。
6．6．1 附加动量法
附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上的微小变化特性。
利用附加动量的作用则有可能滑过局部极小值。
该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。
带有附加动量因子的