第5章数据挖掘的实施过程.ppt

第五章数据挖掘的实施过程薯渔陨扎****僧隘谜藻条毒垢盯蔷呼劈臭檄姬耕囚铣那鬃碳瘦梳崩戚酋沿迢第5章数据挖掘的实施过程第5章数据挖掘的实施过程第5章前面介绍了数据挖掘的基本方法。在本章中我们进一步说明数据挖掘的实施过程。,它是从大量数据中抽取出有价值的信息或知识以提供决策依据。由于每一种数据挖掘方法(算法及技术要求)都有其自身的特点且实现步骤与具体应用问题有密切相关性,因此成功应用数据挖掘技术以达到目标的过程本身就是一件很复杂的事情。,数据挖掘项目要经历的过程包括问题的理解、数据的理解收集和准备、建立数据挖掘模型、评价所建的模型、将建立的模型投入应用等一系列任务。这里,数据挖掘过程的系统化、工程化方法学和支持系统(软件或工程)对解决应用问题起着至关重要的作用。,人们提出了一些数据挖掘过程的参考模型或标准:·SPSS提出的5A(Assess、Access、Analyze、Act、Automate);·SAS提出的SEMMA(采样Sample,探索Explore,修正Modify,建模Model,评估Assess)·数据挖掘特别兴趣小组提出的“数据挖掘交叉行业标准过程”CRISP-DM(Cross-IndustryStandardProcessforDataMining)。,5A模型强调的是支持数据挖掘过程的工具应具备的功能和能力,它是对支持数据挖掘工具的定义。SEMMA强调的是结合SAS公司的挖掘工具进行应用开发的方法。CRISP-DM则从进行数据挖掘方法学的角度强调实施数据挖掘项目的方法和步骤,并独立于每种具体数据挖掘算法和数据挖掘系统。,即Assess、Access、Analyze、Act、Automate。·Assess:正确、彻底的评价任务的需求及数据。·Access:方便、快速的存取任务所涉及的数据。·Analyze:适当、完备的分析技术和工具。·Act:具有推荐性、有说服力的演示。用大量的列表和图形或者通过办公软件来演示数据挖掘软件的能力。软件应该具备快速回答用户提问的控制性和灵活性,这样才便于用户更好、更快地做决策。·Automate:为用户提供最易于使用、最方便的自动化软件。,5A描述了各元素在数据挖掘技术应用中所需完成的任务和应该提供的支持功能。(1)AssessAssess是指要正确地理解和设置数据,一旦充分了解了数据的上下文后,就可以正确地收集它并在其上做需要的决策。实现Assess的软件技术方案可以不同,但问题含义相同。、策略和步骤结合起来。,目的是交付高级分析工具给分析员后,能快速实现数据挖掘及其应用。(2)ess是指数据集合(DB、DW、DM)应该完全符合评价的要求和质量。若数据集合不充分,须补充附加的数据。选用的数据挖掘软件必须在所要求的数据上灵活地工作,并满足下列存取准则。·易于存取和连接各种数据源,包括数据表、公司数据库、数据仓库和其它必要的外部数据库。·能直接从ASCII正文、数据表、数据库文件读入数据。·能处理大量(GB以上)的数据文件。(3)AnalyzeAnalyze要求分析工具具备两类分析方法和工具:发现工具和验证工具。验证工具检验发现工具所产生的结果是否合理。发现型方法和工具包括基因遗传算法、规则推导、模糊逻辑、数据可视化、聚类算法、因素分