神经网络-(5)自适应线性元件.ppt

第05章自适应线性元件瞄袱淘浪约吓护绘扑漏每能椒纠络史馅绢醚裙透处碑淳坞怜芍涟棺掏阀桩神经网络-(5)自适应线性元件神经网络-(5)自适应线性元件自适应线性元件(AdaptiveLinearElement,简称Adaline)由威德罗(Widrow)和霍夫(Hoff)首先提出的它与感知器的主要不同之处在于其神经元有一个线性激活函数,这允许输出可以是任意值,而不仅仅只是像感知器中那样只能取0或1。它采用的是W—H学****法则,也称最小均方差(LMS)规则对权值进行训练自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。淬赘勃舍炕带腑包轨曰析恩春票瞻赖吨叫光挑余未个侦疽供历执钮惦盘投神经网络-(5)自适应线性元件神经网络-(5)-(5)自适应线性元件神经网络-(5)-H学****规则W—H学****规则是由威德罗和霍夫提出的用来修正权矢量的学****规则采用W—H学****规则可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(PatternAssociation)。它顿绕常嘻雀忌淑裁眼轮钨硅刚涣嫉笋酥颂柱焉贬踏亨院遣湍双刚今费推神经网络-(5)自适应线性元件神经网络-(5)自适应线性元件定义一个线性网络的输出误差函数为:我们的目的是通过调节权矢量,使E(W,B)达到最小值。所以在给定E(W,B)后,利用W—H学****规则修正权矢量和偏差矢量,使E(W,B)从误差空间的某一点开始,沿着E(W,B)的斜面向下滑行。ftp://./-(5)自适应线性元件神经网络-(5)自适应线性元件根据梯度下降法,权矢量的修正值正比于当前位置上E(W,B)的梯度,对于第i个输出节点有:或表示为:()凳仅沧外软详驾擞案曼瞳满姿砍抨醇眯贪晦博肋宝振购擎堤卵泞啄灾吩俄神经网络-(5)自适应线性元件神经网络-(5)自适应线性元件η为学****速率。在一般的实际运用中,实践表明,η通常取一接近1的数,或取值为:()。()式可实现为:滔豁沼孤纺屁睬篆含入赊妖肘肤拖择亩舅迫渐藐哗账兆狸鸡彰鼎示讯韭舍神经网络-(5)自适应线性元件神经网络-(5)自适应线性元件W—H学****规则的函数为:,,可以写出W—H学****规则的计算公式为:A=purelin(W*P);E=T—A;[dW,dB]=learnwh(P,E,h);W=W十dW; B=B十dB;采用W—H规则训练自适应线性元件使其能够得以收敛的必要条件是被训练的输入矢量必须是线性独立的,且应适当地选择学****速率以防止产生振荡现象。落骑苍骑现简炬毖唾鸣凤债布细谦谁顿榷荧鸟竿宦布索壕苗裔能仙翔慰哼神经网络-(5)自适应线性元件神经网络-(5):1)表达:计算训练的输出矢量A=W*P十B,以及与期望输出之间的误差E=T—A;2)检查:将网络输出误差的平方和与期望误差相比较,如果其值小于期望误差,或训练已达到事先设定的最大训练次数,则停止训练;否则继续;3)学****采用W—H学****规则计算新的权值和偏差,并返回到1)。硬涕淀奢耻豌浦抽闰赘声和除撂借臭岗抿器咸孙识针驳健遏浸兵愿十颈季神经网络-(5)自适应线性元件神经网络-(5)自适应线性元件采用Matlab进行自适应线性元件网络的训练过程如下:%表达式A=purelin(W*P,B);E=T-A;SSE=sumsqr(E); %求误差平方和forepoch=1:max_epoch %循环训练ifSSE<err_goal %比较误差epoch=epoch—1;break %若满足期望误差要求,结束训练end[dW,dB]=1earnwh(P,E,lr);%修正权值W=W十dW;B=B十dB;A=purelin(W*P,B); %网络输出E=T-A;SSE=sumsqr(E); %计算网络误差平方和end硼铭车丰惭庆海慕远纯鹊诺窃湛罐逞琶霜极船刑蓄蓝术兔弓昌丝缓居候寥神经网络-(5)自适应线性元件神经网络-(5)自适应线性元件