支持向量机 PPT课件.ppt

支持向量机支持向量机 Outline Outline ?? SVM SVM 的理论基础的理论基础??线性判别函数和判别面线性判别函数和判别面??最优分类面最优分类面??支持向量机支持向量机?? SVM SVM 的研究与应用的研究与应用 SVM SVM 的理论基础的理论基础??传统的统计模式识别方法只有在样本趋向无穷大传统的统计模式识别方法只有在样本趋向无穷大时,其性能才有理论的保证。统计学****理论( 时,其性能才有理论的保证。统计学****理论( STL STL ) ) 研究有限样本情况下的机器学****问题。研究有限样本情况下的机器学****问题。 SVM SVM 的理的理论基础就是统计学****理论。论基础就是统计学****理论。??传统的统计模式识别方法在进行机器学****时,强传统的统计模式识别方法在进行机器学****时,强调调经验风险最小化。经验风险最小化。而而单纯的经验风险最小化会单纯的经验风险最小化会产生产生““过学****问题过学****问题””,其推广能力较差。,其推广能力较差。??推广能力推广能力是指是指: : 将学****机器将学****机器( (即预测函数即预测函数, ,或称学或称学****函数、学****模型****函数、学****模型) )对未来输出进行正确预测的能对未来输出进行正确预测的能力。力。过学****问题过学****问题??““过学****问题过学****问题””:某些情况下,当训练误差:某些情况下,当训练误差过小反而会导致推广能力的下降。过小反而会导致推广能力的下降。??例如:对一组训练样本例如:对一组训练样本(x,y),x (x,y),x 分布在实数分布在实数范围内, 范围内, y y取值在取值在[0 [0, ,1] 1]之间。无论这些样之间。无论这些样本是由什么模型产生的,我们总可以用本是由什么模型产生的,我们总可以用 y=sin(w y=sin(w * *x) x)去拟合,使得训练误差为去拟合,使得训练误差为 0. 0. SVM SVM ??根据统计学****理论,学****机器的实际风险由经验风根据统计学****理论,学****机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最险值和置信范围值两部分组成。而基于经验风险最小化准则的学****方法只强调了训练样本的经验风险小化准则的学****方法只强调了训练样本的经验风险最小误差,没有最小化置信范围值,因此其推广能最小误差,没有最小化置信范围值,因此其推广能力较差。力较差。?? Vapnik Vapnik 提出的支持向量机提出的支持向量机( ( Support Vector Machine, Support Vector Machine, SVM SVM ) )以训练误差作为优化问题的约束条件,以置以训练误差作为优化问题的约束条件,以置信范围值最小化作为优化目标,即信范围值最小化作为优化目标,即 SVM SVM 是一种基于是一种基于结构风险最小化准则的学****方法,其推广能力明显结构风险最小化准则的学****方法,其推广能力明显优于一些传统的学****方法。优于一些传统的学****方法。??形成时期在形成时期在 1992 1992 ——1995 1995 年。年。 SVM SVM ??由于由于 SVM SVM 的求解最后转化成二次规划问题的求的求解最后转化成二次规划问题的求解,因此解,因此 SVM SVM 的解是全局唯一的最优解的解是全局唯一的最优解?? SVM SVM 在解决小样本、非线性及高维模式识别问题在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学****问题中数拟合等其他机器学****问题中??Joachims Joachims 最近采用最近采用 SVM SVM 在在Reuters-21578 Reuters-21578 来进行来进行文本分类,并声称它比当前发表的其他方法都好文本分类,并声称它比当前发表的其他方法都好 Outline Outline ?? SVM SVM 的理论基础的理论基础??线性判别函数和判别面线性判别函数和判别面??最优分类面最优分类面??支持向量机支持向量机?? SVM SVM 的研究与应用的研究与应用线性判别函数和判别面线性判别函数和判别面??一个线性判别函数一个线性判别函数( ( discriminant discriminant function) function) 是是指由指由 x x的各个分量的线性组合而成的函数的各个分量的线性组合而成的函数??两类情况两类情况: : 对于两类问题的决策规则为对于两类问题的决策规则为??如果如果 g(x)>0 g(x)>0 , ,则判定则判定 x x属于属于 C C 1 1, , ??如果如果 g(x)<0 g(x)<0 , ,则判定则判定 x x属于属于 C C 2 2, , ??如果如果 g(x)=0 g(x