数据流聚类算法及其应用研究.pdf

五邑大学
硕士学位论文
数据流聚类算法及其应用的研究
姓名:杨海振
申请学位级别:硕士
专业:计算机应用技术
指导教师:高宏宾
20090415
摘要数据流模型的数据挖掘技术及其算法研究已成为重要的应用前沿课题。保留聚类质量的基础上,同时提高处理速度。对其中的难点采用了标准工具集解决。立了一种入侵检测模型。实验结果表明,该模型较之同类模型的检测效果有了明显五邑大学硕士学位论文近年来,由于计算机及应用技术的高速发展,人们获取数据的能力得到极大的提高。数据流作为一类重要的数据来源,受到越来越多的关注,基于数据流是一组顺序的、大量的、快速的、连续到达的、事先未知的数据序列。一般情况下,数据流可以被视为一个随时间延续而无限增长的动态数据集合。对流中数据的访问和处理代价通常比较高。因此,仅一次地访问数据成为数据流算法所追求的目标。数据流的特性对传统聚类方法提出了许多新的挑战。例如,仅一次地扫描数据流并产生高质量的聚类结果;任意时间段内的窗口分析等。当前,数据流聚类算法仍然面临着一些较难解决的问题,主要包括分割数据流造成全局信息缺损从而影响聚类效果;时间复杂度较高,难以实现有效的基于密度的聚类,以便发现数据空间中不规则分布的高密度区域等。本文针对数据流聚类算法及其应用进行了深入的研究,提出了一种改进的顺序数据流聚类算法以期解决或改善上述问题,并进一步研究了该算法在邮件过滤和入侵检测这两个领域的应用。其主要内容如下:首先,提出了一种改进的基于数据流的顺序聚类算法。该算法的目标是在尽量实验表明,该算法不仅没有损失聚类精度,处理速度也得到有效提高,适于数据流聚类应用。其次,针对当前垃圾邮件的特点,将本文提出的数据流聚类算法与支持向量机相结合,构造了一种邮件过滤模型。实验表明,该模型的处理速度,分类精度都有所提高,且具有良好的泛化能力和较强的自适应性。最后,针对现代网络的复杂性以及入侵手段同新月异的特点,用本文提出的数据流聚类算法对入侵信息进行聚类分析,并应用分析结果指导支持向量机分类,建提高,增强了模型的自适应学****能力,提高了处理速度。关键词:数据流;聚类分析;支持向量机;入侵检测;邮件过滤
五邑大学硕士学位论文琩,,琤瑃,,,琱猻,甎瑃.,,.瓼琽猵;—瓵瑂篵;珽—琲:.,琫瓵琣,瓵籄.
五邑大学硕士学位论文籌篋;籗籈
签字:构多舷本人声明杨海振本人郑重声明:本论文的所有工作,是在导师的指导下,由作者本人独立完成的。有关观点、方法、数据和文献的引用都已在文中指出,并与参考文献相对应。除文中己注明引用的内容外,本论文不包含任何其他个人或集体己经公开发表的作品成果。对本文的研究做出重要贡献的个人和集体,均己在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者:年
第一章绪论研究背景及研究现状研究背景研究现状近年来,由于计算机及其应用技术的高速发展,人们获取数据的能力得到极类分析可划分为单遍扫描的聚类算法和进化数据流的聚类算法。单遍扫描的聚类五邑大学硕士学位论文大的提高,数据流作为一类重要的数据来源,受到越来越多的关注。基于数据流模型的数据挖掘技术及其算法已成为重要的应用前沿课题【卜。大型超市交易记录、股票交易所的股票交易信息、网络检测数据、电信部门的通话记录、信用卡交易流、传感器传回的数据等均可看作基于数据流模型的数据集。它们具有数据量大、连续、有序、到达速率不确定等特点。按传统的数据库应用模式处理这些数据,即完整、详细地收集这些数据,预处理后将其储存在数据库中,再交由计算机仔细处理,已成为不可能完成的任务。因此,迫切需要提出高效、可行的基于数据流模型的算法,使得在给定的有限运行空间上,能够通过对数据流进行一次或较少次数的线性扫描,对其进行管理以及进一步的知识发现。在数据流挖掘方面,如何对数据流进行有效聚类,是一个吸引了众多研究者注意力的问题【】。数据流聚类分析是数据流挖掘的一个重要工具,研究如何对数据流进行有效的聚类以便从大量数据中提取有用信息具有很大的意义,不仅对有效节省存储空间具有重要的理论意义和现实价值,而且对商务决策者进行决策及网络的实时检测等都具有很大的现实意义。目前,基于数据流的算法研究已经成为重要的研究课题。对数据流的研究主要集中在以下几个方面:对数据流工作模型的建模、对数据流查询的响应、如何管理数据流、如何对数据流进行挖掘等。根据对数据流底层模型的不同假设,聚算法假设数据流底层模型不变,也就是说各数据对象都是符合某底层分布的样本】。而进化数据流的聚类算法假设数据流底层模型不断变化,需要在不同长度的窗内挖掘不同的聚类模型‘俊ケ樯璧木劾嗨惴单遍扫描的聚类算法将数据流上的聚类问题看做是如何通过单遍扫描对数据集进行聚类的问题。这类算法通常基于传统的经典聚类算法,例如行牡.
等人