支持向量机及其应用.ppt

该【支持向量机及其应用 】是由【我是药神】上传分享，文档一共【67】页，该文档可以免费在线阅读，需要了解更多关于【支持向量机及其应用 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。支持向量机及其应用
由NordriDesign提供

一般模式识别方法的问题
经验风险最小不等于期望风险最小,不能保证分类器的推广能力.
经验风险只有在样本数无穷大趋近于期望风险,需要非常多的样本才能保证分类器的性能。
需要找到经验风险最小和推广能力最大的平衡点。
一、线性可分的支持向量(分类)机
首先考虑线性可分情况。设有如下两类样本的训练集:

线性可分情况意味着存在超平面使训练点中的正类和
负类样本分别位于该超平面的两侧。
如果能确定这样的参数对(w,b)
的话,就可以构造决策函数来进行
识别新样本。
线性可分的支持向量(分类)机
问题是:这样的参数对(w,b)有许多。
解决的方法是采用最大间隔原则。
最大间隔原则:选择使得训练集D对于线性函数
(w·x)+b的几何间隔取最大值的参数对(w,b),并
由此构造决策函数。
在规范化下,超平面的几何间隔为
于是,找最大几何间隔的超平面
表述成如下的最优化问题:
(1)
线性可分的支持向量(分类)机
为求解问题(1),使用Lagrange乘子法将其转化为对偶问题。于是引入Lagrange函数:
其中,称为Lagrange乘子。
首先求Lagrange函数关于w,b的极小值。由极值条件有:
得到:
(2)
(3)
(4)
线性可分的支持向量(分类)机
将(3)式代入Lagrange函数,并利用(4)式,则原始的优化问题
转化为如下的对偶问题(使用极小形式):
这是一个凸二次规划问题
有唯一的最优解
(5)
求解问题(5),得。则参数对(w,b)可由下式计算:
线性可分的支持向量(分类)机
支持向量:称训练集D中的样本xi为支持向量,如
果它对应的i*>0。
根据原始最优化问题的KKT条件,有
于是,支持向量正好在间隔边界上。

于是,得到如下的决策函数:
目录
线性可分的支持向量(分类)机
线性支持向量(分类)机
支持向量(分类)机
最小二乘支持向量(分类)机
硬-带支持向量(回归)机
软-带支持向量(回归)机
-支持向量(回归)机
最小二乘支持向量(回归)机
支持向量机应用
二、线性支持向量(分类)机
现在考虑线性不可分情况。对于训练集D,不存在这样的超平面,使训练集关于该超平面的几何间隔取正值。如果要用超平面来划分的话,必然有错分的点。
但我们任希望使用超平面进行分划,这时应“软化”
对间隔的要求,即容许不满足约束条件的样本点存在。
为此,引入松弛变量
并“软化”约束条件:
i
线性支持向量(分类)机
为了避免i取太大的值,需要在目标函数中对它们进行惩罚。于是原始优化问题变为:
其中C>0称为惩罚因子。
(6)