面向领域的数据驱动的数据挖掘一个新的理解数据挖掘-中文版.docx

面向领域的数据驱动的数据挖掘一个新的理解数据挖掘抽象: 最近,在计算机、通讯、数据存储技术、高通量数据采集技术上的进步使得收集和存储令人难以置信的海量数据成为可能。为从数据库中发现大量知识创造了前所未有的机遇。数据挖掘是一种为处理大量的数据提供了新的理论, 技术和工具的新兴领域的计算智能,例如:数据分析、决策等等。有许多研究人员从事于设计有效的数据挖掘技术、方法和算法。不幸的是,大多数的数据挖掘研究人员把重心放在了发展数据挖掘的模式和方法上,只有一小部分致力于数据挖掘的基本问题。本文中我们会提出一个新的数据挖掘的理解,那就是面向领域的数据驱动的数据挖掘( 3DM ) 模型。数据驱动的数据挖掘算法在我们的实验室开发出来同时提出来以显示她的有效性。 1. 介绍数据挖掘是被我们从巨大的数据集总获取知识的渴望刺激的产物。它使用机器学****统计和可视化技术去发现数据中的知识,并且以一种很容易为用户理解和使用的形式表现出来。许多数据挖掘方法是基于机器学****算法、统计方法的扩展、组合和调整和知识的提取和抽象。在过去的二十年里,许多技术被应用在数据挖掘中,例如人工神经网络, 模糊集,粗糙集,决策树,遗传算法,最近邻方法,基于统计规则归纳法,线性回归, 线性预测编码等等。对于数据挖掘的研究有很多观点。现有的大量研究可以被粗略的分为三种观点,不管在数据挖掘的研究中采取的哪种观点,大多数的数据挖掘人员对发展数据挖掘模式和方法的技术问题投入的大量的精力,只有少数的人关注数据挖掘的基本问题。什么是数据挖掘?数据挖掘的产物是什么?我们这数据挖掘中在做什么?我们在数据挖掘中应该遵守的规则是什么? 数据领域专家的先验知识和知识丰富的头脑直接的关系式什么? 为了回答以上问题,我们需要研究数据挖掘的过程。首先,大量相关的研究已经被证实,一个三层的概念框架被 Yao 提出,它包括哲学层,技术层和应用层。这个框架的层代表了知识利用的理解,发现和区分。 Peng 为数据挖掘和知识的发现领域提出了一个系统框架,它的目的就是区分数据挖掘领域和知识发现。此外,国际上还举办了有关数据挖掘基础的研讨会。遗憾的是,仍然没有被完全认可和没有争议的答案对于之前提到的问题。在本文中,我们将会对基于概念上的数据挖掘模式提出一种新的理解。我们的答案将会是“数据挖掘是知识转型的一个过程”。我们工作中关于数据挖掘技术的最经的成果也会给以介绍以展示 3DM 模式的合理性。 2 、面向领域的数据驱动的数据挖掘模式 数据驱动的数据挖掘数据挖掘是对数据中隐含的之前未知的潜在的有用知识的非一般的提取。知识可以以许多不同的方式表现出来,对于编码知识有很多种形式,最简单的格式或许是象征性的格式像公式、法则、定理等。对于人们来说以这种格式来理解和应用是很简单的,这些格式经常被用在书籍、论文甚至专业系统中,书籍也是针对于编码知识的人造格式。近期在计算机、通信,数字存储技术,以及高吞吐量的数据采集技术上的进步使得收集和存储令人难以置信的大量的数据成为可能。在很多领域都有大量的数据产生,每天许多自然现象、法则甚至人类的经验都被记录在数据库中。不幸的是人们无法读到、理解或者用到这些数据中包含的知识。因此我们认为,在数据挖掘过程中,知识以一种人类无法理解的数据形式被转化成另外一种难以理解的抽象格式如规则、公式、定理等等。在数据挖掘中不会有