下载提示
- 1.该资料是网友上传的，本站提供全文预览，预览什么样，下载就什么样。
- 2.下载该文档所得收入归上传者、原创者。
- 3.下载的文档，不会出现我们的网址水印。
文档列表
文档介绍
第4章 人工神经网络
内容：教材 109-119 、191-200 页
基础知识（补充）
神经元与神经网络
反向传播神经网络
Hopfield网络
人工神经网络-基础知识
基础知识
1 最速下降法（梯度法）
2 Matlab程序设计语言与神经网络工具箱
人工神经网络-基础知识
1 最速下降法
最速下降法（又称梯度法）是1847年 Cauchy 提出来的最优化算法，用于求解非线性函数的局部最小值（最小点）
人工神经网络-基础知识
回顾高等数学中一元函数的求极值问题：
极小点的条件是：
人工神经网络-基础知识
n 元函数极小点的条件：
矩阵是半正定的
Hesse矩阵
梯度
人工神经网络-基础知识
自然而然想到的求极小值的方法
令梯度为零，通过解非线性方程组，求出一组极值点
根据每一个极值点处的矩阵是否为半正定，来判断极小值点
人工神经网络-基础知识
在实际中，这一方法是不可行的：
变量的个数多
不易求解非线性方程组
不易判断矩阵是否半正定
人工神经网络-基础知识
在最优化技术中，采用迭代的方法求出其中的一个解
不同的初始值可能对应于不同的解，并求出局部极值
人工神经网络-基础知识
在最速下降法中，以负梯度方向作为极小化算法的下降方向
迭代格式为
梯度
人工神经网络-基础知识
是迭代步长，可以用一维搜索来确定
终止准则 ：
向量的2范数：
人工神经网络-基础知识
内容：教材 109-119 、191-200 页
基础知识（补充）
神经元与神经网络
反向传播神经网络
Hopfield网络
人工神经网络-基础知识
基础知识
1 最速下降法（梯度法）
2 Matlab程序设计语言与神经网络工具箱
人工神经网络-基础知识
1 最速下降法
最速下降法（又称梯度法）是1847年 Cauchy 提出来的最优化算法，用于求解非线性函数的局部最小值（最小点）
人工神经网络-基础知识
回顾高等数学中一元函数的求极值问题：
极小点的条件是：
人工神经网络-基础知识
n 元函数极小点的条件：
矩阵是半正定的
Hesse矩阵
梯度
人工神经网络-基础知识
自然而然想到的求极小值的方法
令梯度为零，通过解非线性方程组，求出一组极值点
根据每一个极值点处的矩阵是否为半正定，来判断极小值点
人工神经网络-基础知识
在实际中，这一方法是不可行的：
变量的个数多
不易求解非线性方程组
不易判断矩阵是否半正定
人工神经网络-基础知识
在最优化技术中，采用迭代的方法求出其中的一个解
不同的初始值可能对应于不同的解，并求出局部极值
人工神经网络-基础知识
在最速下降法中，以负梯度方向作为极小化算法的下降方向
迭代格式为
梯度
人工神经网络-基础知识
是迭代步长，可以用一维搜索来确定
终止准则 ：
向量的2范数：
人工神经网络-基础知识
人工神经网络-基础知识 来自淘豆网www.taodocs.com转载请标明出处.
相关文档 更多>>
非法内容举报中心
相关标签
最近更新
- 国家车改方案
- 煤矿防突工题库考点五
- 合作营销方案
- 生物质能资源化与利用
- 单项工程方案
- 化学方案评价
- 2024年山西老区职业技术学院马克思主义基本..
- 2024年承德医学院马克思主义基本原理概论（..
- 2024年2承德石油高等专科学校马克思主义基本..
- 公司开业活动策划方案
- 保险公司活动策划方案
- 仓库整治方案
- 颜色的变化的教学设计
- 雁门太守行教学设计文库
- 重装上阵极速飞机教学设计
- 软笔书法斜钩卧钩教学设计
- 走进非遗综合实践教学设计
- 语法填空课堂教学设计教案
- 语文教学设计中的英雄人物
- 设计之外的理论教学反思
- 英语教学设计课的好处
- 2024年客服个人工作总结10篇(集合)
- 安检岗位培训课件
- 小学劳技课说课稿
- 咸阳市城市生活垃圾处理费征收使用管理暂行..
- 2022畜牧业统计监测工作实施方案
- 饮水机定期清洗消毒制度
- 2019年甘肃普通话成绩查询入口【已开通】
- 印度电视连续剧佛陀集中文字幕版精选版
- 劳动合同职业病危害因素告知书