支持向量机分类与回归方法研究.pdf

中南大学
博士学位论文
支持向量机分类与回归方法研究
姓名:孙德山
申请学位级别:博士
专业:概率论与数理统计
指导教师:吴今培
20040401
摘要支持向量机已经展现出优秀的学习性能,并由最初的分类任务成功地扩展到处理回归、概率密度估计和异常值检测等问题。支持向量支持向量机另外一些优势可以通过与神经网络相比展示出来。第二章介绍了支持向量机一类分类、二值分类以及回归算法,在基于线性规划的支持向量机算法基础上,提出几种新的回归模预测性能。最后,提出一种基于线性规划的多值分类算法和它的分椒ê退嘀捣掷嗨惴ń⒘艘恢秩肆呈侗鹉P汀6作为传统统计学的重要补充和发展,针对小样本数据提出的统计学习理论近来受到广泛重视。在统计学习理论基础上发展起来的机一改传统方法的经验风险最小原则,而是根据结构风险最小化原则提出的,这就使其能够达到更好的泛化能力。凸二次规划,从而所得的解是全局最优的,通常也是唯一的。本文以支持向量机理论为基础,对分类与回归的基本方法及其第一章综述了分类与回归的基本方法,包括贝叶斯方法、神经网络方法和支持向量机方法等。并在一类分类的基础上,提出一种多值分类算法。所给方法有效地克服了通过构造一系列二值分类而达到多值分类的复杂计算问题,从而有机地将一类分类、二值分类及多值分类融合到一起。进一步提出了多值分类算法的分解形式,为解决大规模数据分类问题提供第三章首先总结归纳了线性规划下的支持向量机方法。其次,型,所给模型不但简化了原模型的复杂结构,而且仍能保持良好的解形式,该方法不但简单易行,而且仍能保持良好的分类精度。同时,结合基于核的主成分分析人脸图像库的实验结果表明所给方法是可行的、有效的。支持向量机只有少数可调的参数,而且训练问题可以归结为解一个应用进行了系统的研究。全文共分七章,具体内容如下。了一条可行的途径。,
中存在异方差性时,所给方法的预测结果更接近真实值;三、针对分四部分:一、提出一种单参数约束下的回归模型,并证明了该模型与标准回归模型的等价性;二、针对实际回归问题中经常出现异支持向量回归模型中只有点输出而没有概率输出这一缺点,根据局部预测思想,在回归模型中定义了一种预测信任度的概念,从而为预测值提供了一个可信度评判。另外,通过对可信度的观测,还能在一定程度上判别数据中的噪声含量;四、研究了回归与分类之间的关系,为快速分类算法应用于回归模型中提供了~定的理论依第五章对异常值检测进行了探讨。利用支持向量回归算法中结构风险函数较好的平滑性以及跫岢鲆恢只毓橹械囊斐V检测方法。另外,结合一类分类方法和相空间重构理论,提出一种第七章总结全文并对今后研究工作提出展望。关键词支持向量机,结构风险最小化原则,核函数,分类,第四章对支持向量机回归模型进行了一些扩展研究,具体内容方差性,提出一种加权支持向量回归算法。仿真实验表明,当数据时间序列中的异常值检测方法。第六章讨论了支持向量机与神经网络之间的关系,同时将支持向量回归的各种版本及缬τ糜杌煦缡奔湫蛄性げ庵校⑼过加入不同水平的噪声来比较分析它们的预测性能。据。回归Ⅱ
琒瑆,,,,猚琤猚,猚,猚.,.甋瑃,.瑆.,,.,瑂.
,,.,.琣,.琣琣甧,瓼,瓵琸瓼,.,,,
作者签名:垫建些导师签名矬日期:色晡涝略腥作者签名:塾曰期:坦生年上月宣日关于学位论文使用授权说明原创性声明及取得的研究成果。尽我所知,除了论文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作的同志对本本人了解中南大学有关保留、使用学位论文的规定,即:学校有权保留学位论文,允许学位论文被查阅和借阅;学校可以公布学位论文的全部或部分内容,可以采用复印、缩印或其它手段保存学位论文;学校可根本人声明,所呈交的学位论文是本人在导师指导下进行的研究工作研究所作的贡献均已在论文中作了明确的说明。据国家或湖南省有关部门规定送交学位论文。
第一章导论课题背景及意义随着科学技术的飞速发展以及计算机、的日益普及,越来越多的复杂非线性高维数据需要分析、处理,这也给传统的统计学方法提出了严峻挑用于分类与回归的方法很多,如传统的统计分析方法以及神经网络方法【实际应用中效果往往并不理想。神经网络方法虽然很好地解决了非线性问题,但由于其自身存在着结构不易确定、易陷入局部极小等固有的缺陷,从而限制了其实际应用。另外,神经网络的学习算法仅仅试图使经验风险最小化,并没破,这也是神经网络过拟合现象产生的原因,从而导致了其推广能力的下降。一种针对小样本情况研究统计学习规律的理论,该理论的核心思想是通过引入结构风险最小化准则来控制学习机器的容量,从而刻画了过度拟合与泛化能力之间的关系。在这一理论基础上产生的