《剪枝的学问》ppt课件.pptx

该【《剪枝的学问》ppt课件 】是由【碎碎念的折木】上传分享，文档一共【31】页，该文档可以免费在线阅读，需要了解更多关于【《剪枝的学问》ppt课件 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。《剪枝的学问》ppt课件汇报人:2024-01-07目录CONTENTS剪枝基本概念与原理常见剪枝算法介绍深度学****中的剪枝技术决策树和随机森林中剪枝策略图像处理中剪枝技术应用总结与展望01剪枝基本概念与原理CHAPTER剪枝定义在机器学****和深度学****中,剪枝(pruning)是一种通过去除模型中的一部分结构(如神经网络中的连接或节点),以减小模型复杂度、提高模型泛化能力和减少计算资源消耗的技术。减小模型大小通过去除冗余结构,降低模型存储和传输成本。提高运算速度减少模型中的计算量,加快推理速度。防止过拟合降低模型复杂度,减少过拟合风险,提高模型泛化能力。01020304剪枝定义及作用剪枝分类根据剪枝的粒度不同,可分为粗粒度剪枝和细粒度剪枝。粗粒度剪枝以整个模型或层为单位进行剪除,而细粒度剪枝则针对模型中的具体连接或节点进行操作。基于敏感度的剪枝分析模型输出对各个部分的敏感度,去除敏感度较低的部分。基于随机性的剪枝随机去除模型中的一部分结构,通过多次实验找到较优的剪枝策略。基于重要性的剪枝通过评估模型中各个部分的重要性,去除重要性较低的部分。剪枝分类与方法神经网络中的冗余性神经网络中通常存在大量的冗余连接和节点,这些冗余结构对模型的性能贡献较小,因此可以通过剪枝去除。奥卡姆剃刀原理在多个假设中,选择最简单的假设进行预测。通过剪枝去除冗余结构,可以降低模型的复杂度,提高模型的泛化能力。示例以图像分类任务为例,一个深度神经网络模型在经过训练后,可以通过剪枝技术去除部分连接或节点。经过剪枝后的模型在保持较高分类准确率的同时,具有更小的模型大小和更快的推理速度。原理剖析与示例02常见剪枝算法介绍CHAPTER每一步选择都采取当前状态下最好或最优(即最有利)的选择,从而希望导致结果是最好或最优的。原理简单易行,速度快。优点无法保证得到全局最优解,可能陷入局部最优。缺点活动选择、背包问题等。应用场景贪心算法原理把原问题分解为若干个子问题,子问题和原问题在结构上相同或类似,只不过规模不同。通过解决子问题,再合并子问题的解,从而达到解决原问题的目的。能够得到全局最优解。空间复杂度高,需要存储大量子问题的解。背包问题、最短路径问题等。优点缺点应用场景动态规划原理:采用广度优先或最小耗费优先的方法搜索问题的解空间树。在分支限界法中,每一个活结点只有一次机会成为扩展结点。活结点一旦成为扩展结点,就一次性产生其所有儿子结点。在这些儿子结点中,导致不可行解或导致非最优解的儿子结点被舍弃,其余儿子结点被加入活结点表中。分支限界法