第讲反馈网络.ppt

第07讲反馈网络反馈网络(work),又称自联想记忆网络,其目的是为了设计一个网络,储存一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。1982年,美国加州工学院物理学家霍普菲尔德()发表了一篇对人工神经网络研究颇有影响的论文。反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点:第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动,网络系统总可以收敛到某一个稳定的平衡状态;第二,系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。在本章中,我们将集中讨论反馈网络,通过网络神经元状态的变迁而最终稳定于平衡状态,得到联想存储或优化计算的结果。在这里,着重关心的是网络的稳定性问题,研究的重点是怎样得到和利用稳定的反馈网络。霍普菲尔德网络是单层对称全反馈网络,根据其激活函数的选取不同,可分为离散型的霍普菲尔德网络(work,简称DHNN)和连续型的霍普菲尔德网络(work,简称CHNN)。DHNN的激活函数为二值型的,其输入、输出为{0,1}的反馈网络,主要用于联想记忆。CHNN的激活函数的输入与输出之间的关系为连续可微的单调上升函数,主要用于优化计算。(·)是一个二值型的硬函数,,即ai=sgn(ni),i=l,2,…r,则称此网络为离散型反馈网络;如果ai=f(ni)中的f(·)为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络。,它满足连续单调上升的有界函数的条件,常作为连续型的激活函数。=[n1,n2,…,nr],网络的输出矢量为A=[a1,a2…,as]T,在一个r维状态空间上,可以用一条轨迹来描述状态变化情况。从初始值N(t0)出发,N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt),这些在空间上的点组成的确定轨迹,是演化过程中所有可能状态的集合,我们称这个状态空间为相空间。,因为N(t)中每个值只可能为±1,或{0,1},对于确定的权值wij,其轨迹是跳跃的阶梯式,如图中A所示。对于CHNN,因为f(·)是连续的,因而,其轨迹也是连续的。如图中B、C所示。对于不同的连接权值wij和输入Pj(i,j=1,2,…r),反馈网络状态轨迹可能出现以下几种情况。(t0)开始,经过一定的时间t(t>0)后,到达N(t0+t)。如果N(t0+t+Δt)=N(t0+t),Δt>0,则状态N(t0+t)称为网络的稳定点,或平衡点。即反馈网络从任一初始态P(0)开始运动,若存在某一有限时刻t,从t以后的网络状态不再发生变化:P(t+Δt)=P(t),Δt>0,则称该网络是稳定的。处于稳定时的网络状态叫做稳定状态,又称为定吸引子。在一个反馈网络中,存在很多稳定点,根据不同情况,这些稳定点可以分为:1)渐近稳定点:如果在稳定点Ne周围的N(σ)区域内,从任一个初始状态N(t0)出发的每个运动,当t→∞时都收敛于Ne,则称Ne为渐近稳定点。2)不稳定平衡点Nen:在某些特定的轨迹演化过程中,网络能够到达稳定点Nen,但对于其它方向上的任意一个小的区域N(σ),不管N(σ)取多么小,其轨迹在时间t以后总是偏离Nen;3)网络的解:如果网络最后稳定到设计人员期望的稳定点,且该稳定点又是渐近稳定点,那么这个点称为网络的解;4)网络的伪稳定点:网络最终稳定到一个渐近稳定点上,但这个稳定点不是网络设计所要求的解,这个稳定点为伪稳定点。,状态N(t)的轨迹是一个圆,或一个环,状态N(t)沿着环重复旋转,永不停止,此时的输出A(t)也出现周期变化,即出现振荡,。对于DHNN,轨迹变化可能在两种状态下来回跳动,其极限环为2。如果在r种状态下循环变化,称其极限环为r。