支持向量机.ppt

(SVM,SupportVectorMachines)是由Vapnik等人提出的一种基于统计学****理论的机器学****算法。其基本思想为:通过寻找两个最优的分类线,使其能够正确的划分两类数据,并保证分类间隔最大。现有的支持向量机可分为两种:一种是支持向量分类机(SVC,SupportVectorClassification),主要用来解决分类问题;另一种是支持向量回归机(SVR,SupportVectorRegression)。,在处理不均匀性、离散性、稀少性等特点突出的测录井小样本数据学****问题上具有独到的优越性。相比其他算法在以下几个方面具有更大优势:,功能强大,运算之前不需要确定隐含层节点个数,可以根据实际问题的需要而自动调节规模。,它所求得的结果是在现有信息下的最优解,而不是样本数据无穷大时的最优解,故支持向量机更适合于数据有限的情况下进行聚类分析;,故其避免了在神经网络中的局部极值问题,求得的将是全局最优点,同时解决了由于工程或地质因素造成的非正常数据对最终聚类结果的影响;,通过在高维空间中构造线性判别函数来非线性判别函数,它的这一特殊性使得支持向量机模型具有较好的推广能力,并且其算法复杂度与样本数据维数无关,从而同时巧妙地解决了维数问题。:假如说,我们令黑色的点=-1,白色的点= +1,直线f(x)=+b,这儿的x、w是向量,其实写成这种形式也是等价的f(x)=w1x1+w2x2…+wnxn+b,当向量x的维度=2的时候,f(x)表示二维空间中的一条直线,当x的维度=3的时候,f(x)表示3维空间中的一个平面,当x的维度=n>3的时候,表示n维空间中的n-1维超平面。+1,-1,所以当有一个新的点x需要预测属于哪个分类的时候,我们用sgn(f(x)),就可以预测了,sgn表示符号函数,当f(x)>0的时候,sgn(f(x))=+1,当f(x)<0的时候sgn(f(x))=–1。但是在众多划分直线中应该如何取得最优的划分直线f(x)?:让这条直线到给定样本中最近的点最远第一种分法:第二种分法:?从直观上来说,就是分割的间隙越大越好,把两个类别的点分得越开越好。就像我们平时判断一个人是男还是女,就是很难出现分错的情况,这就是男、女两个类别之间的间隙非常的大导致的,让我们可以更准确的进行分类。在SVM中,称为MaximumMarginal,是SVM的一个理论基础之一。选择使得间隙最大的函数作为分割平面是由很多道理的,比如说从概率的角度上来说,就是使得置信度最小的点置信度最大(听起来很拗口),从实践的角度来说,这样的效果非常好,等等。