人工神经网络实用教程人工神经网络.ppt

人工神经网络实用教程人工神经网络
第1页，本讲稿共36页
2022/1/26
1
主讲：蒋世忠 信息工程图像处理教研室Blog1:Blog2:www，本讲稿共36页
神经纤维传导演示
神经纤维上的传导
突触间的传导
*
*
第12页，本讲稿共36页

人脑与计算机信息处理比较：
记忆与联想能力
学****与认知能力
信息加工能力
信息综合能力
信息处理速度
*
*
第13页，本讲稿共36页

人工神经元是人工神经网络操作的基本信息处理单位,是神经网络设计的基础。
人工神经元模型可以看成是由三种基本元素组成：
(1)一组连接 连接强度由各连接上的权值表示，权值可以取正值也可以取负值，权值为正表示激活，权值为负表示抑制。
(2)一个加法器 用于求输入信号对神经元的相应突触加权之和。
(3)一个激活函数 用来限制神经元输出振幅。激活函数也称为压制函数，因为它将输入信号压制(限制)到允许范围之内的一定值。
另外，可以给一个神经元模型加一个外部偏置，其作用是增加或降低激活函数的网络输入。
*
*
第14页，本讲稿共36页

x
1
x
2
x
m
w
i1
w
mk
w
i2
.
.
.
∑
.
.
.
f()
b
k
输入信号
连接权
求和
u
k
输出
激活函数
阈值
k
*
*
第15页，本讲稿共36页

一个神经元可以用以下公式表示：
*
*
第16页，本讲稿共36页

激活函数主要的三种形式：
阶梯函数
f(u)
u
1
*
*
第17页，本讲稿共36页

分段线性函数
f(u)
u
1
-1
*
*
第18页，本讲稿共36页

非线性函数
单极S型函数
双极S型函数
*
*
第19页，本讲稿共36页

人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式
根据神经元的不同连接方式，可将神经网络分为两大类：
分层网络
相互连接型网络
*
*
第20页，本讲稿共36页

分层网络
单纯的前向网络
*
*
第21页，本讲稿共36页

分层网络
具有反馈的前向网络
*
*
第22页，本讲稿共36页

分层网络
层内互联的前向网络
*
*
第23页，本讲稿共36页

相互连接型网络
*
*
第24页，本讲稿共36页
神经网络的学****br/>学****方式
有导师学****有监督学****br/>无导师学****无监督学****br/>再励学****br/>*
*
第25页，本讲稿共36页
神经网络的学****br/>学****算法：学****算法是指针对学****问题的明确规则，不同的学****算法对神经元的权值调整的表达式是不同的。
算法分类
Hebb学****算法
学****算法
随机学****算法
竞争学****算法
*
*
第26页，本讲稿共36页
神经网络的学****br/>Hebb学****算法
由Donald O. Hebb提出。
如果两个神经元同时兴奋，
则它们之间的突触连接加强。
如果神经元 是神经元 的
上层结点，用 分别表示
两神经元的激活值(输出)，
表示两个神经元之间的连接权，
则Hebb学****规则可以表示为:

式中 表示学****速率
Hebb学****规则是人工神经网络学****的基本规则，几乎所有神经网络的学****规则都可以看作Hebb学****规则的变形
*
*
第27页，本讲稿共36页
神经网络的学****br/>学****算法
误差校正学****算法是根据神经网络的输出误差对神经元的连接强度进行修正，属于有导师学****br/>权值调整公式：
调整目标是使下述公式所表达的误差为最小
*
*
第28页，本讲稿共36页
神经网络的学****br/>随机学****算法
误差学****算法通常采用梯度下降法，因此存在局部最小问题，随机学****算法通过引入不稳定因子来处理这种情况。
经典随机学****算法
模拟退化算法
遗传算法。
*
*
第29页，本讲稿共36页
神经