基于数据仓库和OLAP技术的聚类挖掘系统的设计与实现.pdf

大连理工大学
硕士学位论文
基于数据仓库和OLAP技术的聚类挖掘系统的设计与实现
姓名:金妮
申请学位级别:硕士
专业:计算机软件与理论
指导教师:迟忠先
20050301
摘要数据。传统的数据分析手段难以应付大量的数据,从而导致越来越严重的数据灾难。关系数据库提供的简单查询和报表生成功能,只能获得数据的表层信息,而不能获得数据属性的内在关系和隐含的信息,即淹没了包含的知识,造成了资源的浪费。数据仓库、中都发挥着重要作用。本文以威尔玛超市的销售数据为应用背景,在前人对聚类分析研究的基础上,设计并实现了一个基于数据仓库和技术的聚类挖掘系统。论文的主第一,介绍了论文的研究背景,包括聚类分析的发展现状及进一步的研究方向,同分析、设计、建立等步骤,完成了威尔玛超市数据仓库和廿立方体的设计与实现,这是论文研究的基础。第三,详细阐述了基于数据仓库和技术的聚类挖掘系统的设计与实现,这部分是全文的重点。该系统包括了底层的数据仓库、联机分析平台和聚类分析子系统。这里重点讨论的是聚类挖掘子系统的设计与实现。聚类分析予系统的设计主要包括数据预处理模块、聚类分析器以及聚类分析结果反馈模块的设计。我们首先对数据预处理模块进行了分析讨论,并实现了几种比较常用的数据变换方法用来对原始数据进行变换处理;然后采用的际趵词迪肿榧木劾喾治銎鳎痪劾喾治鼋峁蠢∧?和几种聚类结果的可视化表示方式。接下来对威尔玛超市数据进行聚类挖掘的应用研究,并给出了一些聚类分析实例,结果表明该系统在威尔玛超市的实际应用中取得了良最后对全文的工作进行总结,并且对下一步工作进行了展望。关键词:数据仓库;联机分析处理;数据挖掘;聚类分析由于计算机数据采集工具及关系数据库技术的发展,目前各个行业都存储了大量的联机分析处理和数据挖掘技术的发展为解决这一问题提供了有效途径。聚类分析作为数据挖掘领域的一个重要研究课题正在迅速发展,它在许多实际应用时介绍了聚类分析的概念、聚类分析方法的分类以及本系统集成的主要聚类算法。第二,介绍了威尔玛超市数据仓库和立方体的构建过程,这部分包含了需求的设计,主要是对聚类分析的可视化进行研究,结合实际应用实现了聚类过程的可视化好的效果。要工作如下:大连理一喝搜妒宦畚
.籓,篋基于数据仓库和技术的聚类挖掘系统的设计与实现,,辝.;,.,’.瑃。,痵,甌琽甌甌瑆.;.Ⅱ一
盈作者签名:金独创性说明大连理工大学或其他单位的学位或证书所使用过的材料。与我一同工作作者郑重声明:本硕士学位论文是我个人在导师指导下进行的研究工作及取得研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写的研究成果,也不包含为获得的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢日期:丝蓿≥,意。
髀引言‘论文的研究背景数据库系统经过数十年的发展,已经保存了大量的日常业务数据。随着数据库和各类信息系统应用的不断深入,数据量的日益积累,每年都要积累大量的数据,并呈现增量趋势,大量信息是当今社会的特征,是我们宝贵的财富,然而面对海量数掘,我们往往无所适从,无法发现数据中存在的关系和规则,无法根据现有数据预测未来的发展趋势。为了有效解决数据丰富性和知识贫乏性之间的矛盾,需要新的技术,智能、自动地数据挖掘且恢志霾咧С止蹋饕;谌斯ぶ悄堋⒒餮啊⑼臣蒲У燃术,高度自动化地分析企业原有数据,作出归纳性的推理,从中挖掘出潜在的模式,预测客户的行为,帮助企业的决策者调整市场策略,减少风险,做出正确的决策。数据挖掘的目的就是从海量的数据中提取人们感兴趣的,有价值的知识和重要信息。聚类分析作为数据挖掘领域的一个重要研究课题正在迅速发展。它在许多现实应用中起到了很好的作用。对聚类分析方法的研究在整个数据挖掘的研究中具有十分重要的意义。目前聚类分析己在金融业、零售业、医疗和电信等领域得到了广泛的应用,成为⋯种利用信息资源的有效方法和途径,具有广阔的开发前景和应用市场。随着对聚类分析技术研究的不断深入,人们不仅局限于对大量数据进行聚类分析,丽且要求它以人们容易接受的方式表达这些聚类分析结果。正确地理解聚类分析各种方法的特点与不足以及现有的和潜在的应用范围和应用领域,对于减少聚类分析应用的盲目性和充分发挥技术的优势,具有重要的参考价值和指导意义。因此聚类分析及其可视化研究在当前乃至今后是一个重要的发展方向,在理论和实践上都有重要的价值。.劾喾治龅难芯肯肿目前,聚类分析的研究主要集中在两个方面:一方面是对聚类分析算法的研究,另在聚类分析算法的研究方面:聚类对于从大型数据库和数据仓库中发现数据分布和存在的模式,具有极其重要的地位,如何利用并改进传统的聚类算法以便在大型数据库和数据仓库中发现有用的信息,越来越受到人们的重视。传统的聚类大多局限于统