反馈网络-精选.ppt

反馈网络-精选
反馈网络(Recurrent Network)，又称自联想记忆网络，其目的是：设计一个网 络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 1982年，美国加州工学院物理学
状态轨迹发散
如果状态N(t)的轨迹随时间一直延伸到无穷远，此时状态发散，系统的输出也发散。
在人工神经网络中，由于输入、输出激活函数是一个有界函数，虽然状态N(t)是发散的， 但其输出A(t)还是稳定的，而N(t)的稳定反过来又限制了状态的发散。一般非线性人工神经网络中发散现象是不会发生的，除非神经元的输入输出激活函数是线性的。
人工神经网络是利用第一种情况即稳定的状态轨迹来解决某些问题的。
（1）联想记忆
如果把系统的稳定点视做一个记忆的话，那么从初始状态朝这个稳定点移动的过程就是寻找该记忆的过程。
状态的初始值可以认为是给定的有关该记忆的部分信息，状态N(t)移动的过程， 是从部分信息去寻找全部信息，这就是联想记忆的过程。
（2）优化求解
如果把系统的稳定点考虑为一个能量函数的极小点，在状态空间中，从初始状态N(t0) 最后到达N*。 若N*为稳定点，则可以看作是N*把N(t0)吸引了过去，在N(t0)时能量比较大，而吸引到N*时能量已为极小了。
据此，可把这个能量的极小点作为一个优化目标函数的极小点， 把状态变化的过程看成是优化某一个目标函数的过程。
网络的解并不需要真的去计算，只需要去形成一类反馈神经网络，适当地确定其权重值wij，使其初始输入A(t0)向稳定吸引子状态的移动就可以达到这个目的。
反馈网络设计应考虑的问题：
(1)网络系统能否达到稳定收敛
即研究系统在什么条件下不会出现振荡和混钝现象。
(2)网络的稳定点
一个非线性网络可有多个稳定点，对权值的设计，要求其中的某些稳定点是所要求的解。
对于用做联想记忆的反馈型网络，希望稳定点就是一个记忆，那么记忆容量就与 稳定点的数量有关，希望记忆的量越大，稳定点的数目也越大，但稳定点数目的增加可能会引起吸引域的减小，从而使联想功能减弱。
用于优化的网络，由于目标函数(即系统能量函数)往往要求一个全局最小。那么稳定点越多，陷入局部最小的可能性就越大，因而要求系统的稳定点越少越好。
(3)吸引域的设计
希望的稳定点有尽可能大的吸引域；
非希望的稳定点的吸引域要尽可能的小。
因为状态空间是一个多维空间，状态随时间的变化轨迹可能是多种形状，吸引域就很难用一个 明确的解析式来表达，这在设计时要尽可能考虑。
DHNN模型结构
DHNN模型每个神经元节点的输出可以有两值状态1或0，其输出可表示为
上式中，取b＝0，权矩阵中有wij＝wji，且取wii＝0。即DHNN采用对称联接。 因此，其网络结构可以用一个加权无向量图表示。图(a)为一个3节点DHNN结构，其中，每个输入神经元节点除了不与具有相同节点号的输出相连外，与其他节点两两相连。 每个输出信号又反馈到相同的输入节点。 由图 (a)，考虑到DHNN的权值特性wij＝wji ，网络各节点加权输入和分别为：
由此可得简化后等效的网络结构如图 (b)所示 。
对于以符号函数为激活函数的网络，网络的方程可写为 :
联想记忆
联想记忆功能是DHNN的一个重要应用范围。要实现联想记忆，必须具有两个基本条件：①网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息；②具有回忆能力，能够从某一残缺的信息回忆起所属的完整的记忆信息。
DHNN实现联想记忆的过程分为两个阶段：
学****记忆阶段和联想回忆阶段。
学****记忆阶段：通过某一设计方法确定一组合适的权值，使网络记忆期望的稳定平衡点。
联想回忆阶段：是网络的工作过程。此时，当给定网络某一输入模式，网络能够通过自身的动力学状态演化过程最终达到稳定的平衡点，从而实现自联想或异联想回忆。
反馈网络两种基本工作方式：串行异步和并行同步方式。
1)串行异步方式：任意时刻随机地或确定性地选择网络中的一个神经元进行状态更 新，而其余神经元的状态保持不变；
2)并行同步方式：
任意时刻网络中部分神经元(比如同一层的神经元)的状态同时更新。如果任意时刻网络中全部神经元同时进行状态更新，那么称之为全并行同步方式。
s个神