人工神经网络II.ppt

该【人工神经网络II 】是由【小可爱】上传分享，文档一共【33】页，该文档可以免费在线阅读，需要了解更多关于【人工神经网络II 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。人工神经网络II内容前向神经网络模型前向神经网络用途前向神经网络训练BP算法2by谢广明,2019~2019学年度第一学期前向神经网络多层前向网络一个M层的多层前向网络可描述为:①网络包含一个输入层(定义为第0层)和M-1个隐层,最后一个隐层称为输出层;②第l层包含个神经元和一个阈值单元(定义为每层的第0单元),输出层不含阈值单元;3by谢广明,2019~2019学年度第一学期前向神经网络③第层第个单元到第个单元的权值表为;④第层(>0)第个(>0)神经元的输入定义为,输出定义为,其中为隐单元激励函数,常采用Sigmoid函数,即。输入单元一般采用线性激励函数,阈值单元的输出始终为1;4by谢广明,2019~2019学年度第一学期前向神经网络x1o1输出层隐藏层输入层x2o2omxn…………………5by谢广明,2019~2019学年度第一学期前向神经网络用途弄这么个东西有用么?怎么用呢?6by谢广明,2019~2019学年度第一学期前向神经网络用途用途非常广泛非线性映照能力:神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。并行分布处理方式:在神经网络中信息是分布储存和并行处理的,这使它具有很强的容错性和很快的处理速度。自学****和自适应能力:神经网络在训练时,能从输入、输出的数据中提取出规律性的知识,记忆于网络的权值中,并具有泛化能力,即将这组权值应用于一般情形的能力。神经网络的学****也可以在线进行。多变量系统:神经网络的输入和输出变量的数目是任意的,对单变量系统与多变量系统提供了一种通用的描述方式,不必考虑各子系统间的解耦问题。7by谢广明,2019~2019学年度第一学期前向神经网络用途Bool函数任何bool函数都可以用一个单隐层的网络来表示但是可能要求指数级的隐层单元个数连续函数每一个有界的连续函数都可以有一个两级的网络以任意小的误差(在有限的范数下)逼近任意函数任意函数都可以被一个由三级的网络以任意精度逼近8by谢广明,2019~2019学年度第一学期前向神经网络训练神经网络的训练给定一组样本,即一组神经网络的输入输出,不断调整网络中的权重使得网络最终能够很好的满足样本所给定的输入输出关系。最基本的算法:BP算法其它方法Hebb学****概率式学****竞争学****9by谢广明,2019~2019学年度第一学期BP算法特点:网络权重的调节上用的是梯度下降算法容易推广到任意有向网络训练的时候迭代的次数可能很多,慢训练后使用网络会非常快问题收敛性和局部极小值过拟和的问题:指网络训练精度很高,但推广检验样本精度较差,也称为网络的泛化能力差15by谢广明,2019~2019学年度第一学期