数据挖掘概述(补充)要点.ppt

毕硕本 2一、数据挖掘概念一、数据挖掘概念---- ---- 定义定义数据挖掘数据挖掘--从大量数据中寻找其规律的技术, 从大量数据中寻找其规律的技术, 是统计学、数据库技术和人工智能技术的综合。是统计学、数据库技术和人工智能技术的综合。?数据挖掘与统计学?数据挖掘与人工智能?数据挖掘与数据库技术数据挖掘与数据挖掘与 KDD KDD 3一、数据挖掘概念一、数据挖掘概念---- ---- 原由原由数据挖掘数据库越来越大有价值的知识可怕的数据 4一、数据挖掘概念一、数据挖掘概念---- ---- 原由原由数据爆炸,知识贫乏数据爆炸,知识贫乏苦恼: 淹没在数据中 ; 不能制定合适的决策! 数据数据知识知识决策决策 n模式 n趋势 n事实 n关系 n模型 n关联规则 n序列 n目标市场 n资金分配 n贸易选择 n在哪儿做广告 n销售的地理位置 n金融 n经济 n政府 nPOS. n人口统计 n生命周期 5一、数据挖掘概念一、数据挖掘概念---- ---- 发展发展? 1989 IJCAI 会议: 数据库中的知识发现讨论专题– Knowledge Discovery in Databases (G. Piatetsky -Shapiro and W. Frawley , 1991) ? 1991-1994 KDD 讨论专题– Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky -Shapiro, P. Smyth, and R. Uthurusamy , 1996) ? 1995-1998 KDD 国际会议 ( KDD ’ 95-98) – Journal of Data Mining and Knowledge Discovery (1997) ? 1998 ACM SIGKDD, SIGKDD ’ 1999-2002 会议,以及 SIGKDD Explorations ?数据挖掘方面更多的国际会议– PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK , SPIE-DM, etc. 6一、数据挖掘概念一、数据挖掘概念---- ---- 技术技术?技术分类–预言( Predication ): 用历史预测未来–描述( Description ): 了解数据中潜在的规律?数据挖掘技术–关联分析–序列模式–分类( 预言) –聚集–异常检测 7二、数据挖掘软件的发展二、数据挖掘软件的发展代特征数据挖掘算法集成分布计算模型数据模型第一代作为一个独立的应用支持一个或者多个算法独立的系统单个机器向量数据第二代和数据库以及数据仓库集成多个算法:能够挖掘一次不能放进内存的数据数据管理系统,包括数据库和数据仓库同质、局部区域的计算机群集有些系统支持对象,文本和连续的媒体数据第三代和预言模型系统集成多个算法数据管理和预言模型系统/e 网络计算支持半结构化数据和 web 数据第四代和移动数据/各种计算设备的数据联合多个算法数据管理、预言模型、移动系统移动和各种计算设备普遍存在的计算模型 Robert Grossman , National Center for Data Mining University of Illinois at Chicago 的观点 8二、数据挖掘软件的发展二、数据挖掘软件的发展第一代数据挖掘软件第一代数据挖掘软件?特点–支持一个或少数几个数据挖掘算法–挖掘向量数据( vector-valued data ) –数据一般一次性调进内存进行处理–典型的系统如 Salford Systems 公司早期的 CART 系统(.com ) ?缺陷–如果数据足够大,并且频繁的变化,这就需要利用数据库或者数据仓库技术进行管理,第一代系统显然不能满足需求。 9二、数据挖掘软件的发展二、数据挖掘软件的发展第一代数据挖掘软件第一代数据挖掘软件 CBA 新加坡国立大学。基于关联规则的分类算法,能从关系数据或者交易数据中挖掘关联规则,使用关联规则进行分类和预测 10二、数据挖掘软件的发展二、数据挖掘软件的发展第二代数据挖掘软件第二代数据挖掘软件?特点–与数据库管理系统( DBMS )集成–支持数据库和数据仓库,和它们具有高性能的接口,具有高的可扩展性–能够挖掘大数据集、以及更复杂的数据集–通过支持数据挖掘模式( data mining schema )和数据挖掘查询语言增加系统的灵活性–典型的系统如 DBMiner ,能通过 DMQL 挖掘语言进行挖掘操作?缺陷–只注重模型的生成,如何和预言模型系统集成导致了第三代数据挖掘系统的开发