上海交通大学 人工神经网 课程 第六讲.ppt

人工神经网络及其应用
第六讲随机神经网络
第六讲随机神经网络
主讲内容
§ 模拟退火算法
§ Boltzmann机
§ 受限Boltzmann机
§ 模糊神经网络的基本概念和原理
第六讲随机神经网络
√确定型神经网络:
解决全局最优化问题时,容易陷入系统的局部极小,对输入数据要求的精度高,问题求解依赖于领域知识;
在生物神经元中由于有各种各样的干扰这实际上是很难实现给定神经元的输入其输出就是确定的。同时人工神经元的硬件实现也会有各种扰动,从而带来某些不确定性, 因此讨论随机神经元显得必要且必需。
√随机型神经网络:
系统中引入随机波动,摆脱局部极小,从而收敛于全局极小,适合于模糊的、带噪声的输入数据;问题求解不依赖或很少依赖于领域知识;
随机型神经网络引入随机过程、概率和能量等概念来调整网络的变量,从而使网络达到全局最优;
网络的变量可以是连接权,也可以是神经元节点的状态。在学****过程中,要考虑网络的变量随机变化时,网络的能量函数变化。
如果能量变得更小,就接受这种变化;(网络性能改善)
如果能量没有变化或者变大了(网络性能变差) ,就以某概率分布接受这种变化,这就相当于给网络的变量引入“噪声”,使网络容易跳出能量函数局部极小,而向全局极小方向发展。
√随机神经网络中建立随机机制:
◆随机型神经元激励函数,Boltzmann机
◆随机型连接权。
√随机系统的数据表示精度:
通过分布式信息表达方式,采用大规模并行分布式处理实现━━强大的容错性;
§ 模拟退火算法
模拟退火算法基本思想
Metropolis接受准则
模拟退火算法
模拟退火算法的收敛性
模拟退火算法的参数控制问题
C
B
A
快速下降法
§ 模拟退火算法
基本思想:
控制连接权修改大小;
修改允许网络的性能暂时变差;
修改量的大小和网络的“能量”相关;
依据网络的能量和温度来决定联接权的调整量(即步长).
如何逃离局部极小?
§ 模拟退火算法
模拟退火算法: 1983年提出,基于Monte Carlo迭代求解法,进行启发式随机搜索算法,模拟退火过程,寻找全局最优解方法。
▶是模拟冷却晶体的过程。
▶最早1953年由Metropolis等人提出
▶ 1982年,Kirkpatrick等人将其运用在求最佳化的问题
◆金属中原子的能量与温度有关
◆原子能量愈高,有能力摆脱其原来的能量状态而最后达到一个更加稳定的状态——全局极小能量状态
◆金属的退火过程中,能量的状态分布
P(c(Si))——系统处于具有能量c(Si)的状态的概率
C(si)▬▬表示系统在状态si下的内能
k——Boltzmann常数 T——系统的绝对温度(Kelvin)
§ 模拟退火算法
模拟退火算法基本思想
一个物体(例如金属)的退火过程大体上是这样的:首先对该物体加热(熔化),那么物体内的原子就可高速自由运行,处于较高的能量状态。但是作为一个实际的物理系统,原子的运行总是最低的能态。一开始温度较高时,高温使系统具有较高的内能,而随着温度的下降,原子越来越趋向于低能态,最后整个物体形成最低能量的基态
◆高温情况
T足够大,对系统所能处的任意能量状态c(si),有概率趋于1.
◆中温情况
T比较小, c(si)的大小对P(c(si))有较大的影响,设c(s1) > c(s2),
P(c(s2))>P(c(s1))。
即系统处于高能量状态的可能性小于处于低能量状态的可能性
◆低温情况
T非常小, c(si)的大小对P(c(si)) 的影响非常大,设c(s1) > c(s2),
P(c(s2))>>P(c(s1))。
即当温度趋近于0时,系统几乎不可能处于高能量状态
§ 模拟退火算法
降温过程
高温
低温
原子运动平稳
原子激烈随机运动
能量与温度相关
步长与能量和温度相关
步长与能量相关
步长大
步长小
可逃离
难逃离
大
小
高
低
高能量
低能量
目标函数值
网络的能量
训练
步长与能量、温度关系
§ 模拟退火算法
基本思想是把某类优化问题的求解过程与统计热力学中的热平衡问题进行对比,试图通过模拟高温物体退火过程的方法,来找到优化问题的全局最优或近似全局最优解。
§ 模拟退火算法
模拟退火算法与传统的启发式搜索算法
传统的启发式搜索算法
每次向改变解的方向搜索,容易导致局部极小。
局部搜索: 通过局部调整来达到某个极大值
局部搜索的缺点:
容易遇到局部最大值
侧向移动:在无法找到一个更好的解的时候,选择一个相等的解。