BP神经网络训练算法的分析与比较.pdf

万方数据
鏊铲—一��������������痵�����函数�����个参数:���、��、��、��、一个阻尼项��行У乇苊饬司植孔钚∥侍庠谕�缪盗方淼�陈明忠�暇┨�乐耙导际跹г海��漳暇����摘要:�神经网络被广泛应用于模式识别、信号处理和自动控制等领域。其广泛性是由于它能实现任何连续映射,但由于�网络训练所固有的复杂性,目前尚没有任何一种完全的算法能适用于任何�网络的训练。本文介绍了���神经网络工具箱中各种训练算法的特点及其函数的参数形式,并对它们的收敛速度和内存消耗情况进行了比较,说明了其各自适用的网络。关键词:�神经网络;训练算法;分析;比较中图分类号:��文献标识码:�文章编号:��������������神经网络的训练算法是通过计算性能函数的梯度,再沿负梯度方向调整权值和阀值,从而使性能函数达到最小。梯度下降算法有两种模式:递增模式和批处理模式����递增模式中,当每个样本输人应用于网络之后,就对网络的权值和阀值进行调整。而在批处理模式中,只有当所有的样本输人都应用于网络之后,网络的权值和阀值才会得到调整.���神经网络工具箱提供了多种训练函数,它们都是属于批处理模式的训练函数,主要可以分为启发式训练函数和快速训练函数。�舴⑹窖盗匪惴���梯度下降训练算法�������猤�������蚻���峭�绲难�奥剩��酱螅�ㄖ�和阀值的调整幅度也就越大,但是如果�太大,会使网络的稳定性大大降低;��用于显示每次训练的状态,如果它的值是���盗纷刺�ú换岜幌允尽H绻��绲难盗反问��于���,网络的性能函数值小于��或者训练时间超过了��秒,网络的训练都将停止;参数����的值与初期终止技术��绶夯�有关。��动量梯度下降算法�����动量梯度下降算法是一种批处理的前馈神经网络的训练算法,它不仅考虑误差在梯度上的作用,而且考虑在误差曲面上变化趋势的影响【�俊S捎谝�肓艘桓龆�肯�相当于出现。所谓动量项的加入就是指在网络每次的权值和阀值改变量中加入前一次的改变量,第�窝�分械娜ㄖ岛头е蹈�变量可以表示为:△∞���一口�口���·△∞�—����������,玎���七一�其中,���、���直鸨硎镜鼻靶阅芎��匀ㄖ岛头е�的梯度;�尽J茄�奥剩籱�嵌�肯凳���闹翟�到������:������,����������瑂��������,���������甧�.�������。������。��琾����,�����.�����—���’����瑃����,���.����篢���������;.����;�����
万方数据
籌****篻�阂��一�快得多。下面分别介绍�止查钐荻人惴ǎ�。网络的训练速度㈨。������算法的内容如下:间,当�为�保�ㄖ岛头е档母谋淞烤陀纱耸奔扑愠龅母�变量,;当�为�保�ㄖ岛头е档母谋淞烤偷扔谒����钟呕�盗匪惴�前一时刻的改变量。而且如果在某个循环内,网络的性能函��共轭梯度算法神数值超过了参数������的值,�的值将自动设置为标准的负梯度算法是沿网络性能函数的负梯度方向调经�:�齮����氖褂美嗨朴诤�齮���,只是它有两整权值和阀值,虽然这是减低网络性能函数值的最快方法,个特殊的训练参数,�和������.但是它并不是网络收敛的最快算法。在共轭梯度算