数据挖掘软件发展分析.ppt

数据挖掘软件发展分析
一、数据挖掘概念----定义
数据挖掘--从大量数据中寻找其规律的技术， 是统计学、数据库技术和人工智能技术的综合。
数据挖掘与统计学
数据挖掘与人工智能
数据挖掘与数据库技术
数据挖掘与KDD
2
据库和数据仓库；2）多种类型的数据挖掘算法；3）数据清洗、转换等预处理工作。
随着数据量的增加，需要利用数据库或者数据仓库技术进行管理，所以数据挖掘系统与数据库和数据仓库结合是自然的发展。
现实领域的问题是多种多样的，一种或少数数据挖掘算法难以解决
挖掘的数据通常不符合算法的要求，需要有数据清洗、转换等数据预处理的配合，才能得出有价值的模型
17
二、数据挖掘软件的发展
横向的数据挖掘工具集（95年开始）
发展过程
随着这些需求的出现，2019年左右软件开发商开始提供称之为“工具集”的数据挖掘软件
特点
此类工具集的特点是提供多种数据挖掘算法
包括数据的转换和可视化
由于此类工具并非面向特定的应用，是通用的算法集合，可以称之为横向的数据挖掘工具（Horizontal Data Mining Tools）
由于此类工具并非面向特定的应用，是通用的算法集合，所以称之为横向的数据挖掘工具
典型的横向工具有IBM Intelligent Miner、SPSS的Clementine、SAS的Enterprise Miner、SGI的MineSet、Oracle Darwin等
18
二、数据挖掘软件的发展
横向的数据挖掘工具集（95年开始）
IBM Intelligent Miner
SPSS的Clementine
SAS的Enterprise Miner
SGI的MineSet
Oracle Darwin
19
二、数据挖掘软件的发展
纵向的数据挖掘解决方案（99年开始）
发展原因
随着横向的数据挖掘工具的使用日渐广泛，人们也发现这类工具只有精通数数据挖掘算法的专家才能熟练使用，如果对算法不了解，难以得出好的模型
从2019年开始，大量的数据挖掘工具研制者开始提供纵向的数据挖掘解决方案（Vertical Solution），即针对特定的应用提供完整的数据挖掘方案
对于纵向的解决方案，数据挖掘技术的应用多数还是为了解决某些特定的难题，而嵌入在应用系统中
20
二、数据挖掘软件的发展
纵向的数据挖掘解决方案（99年开始）
在证券系统中嵌入神经网络预测功能
在欺诈检测系统中嵌入欺诈行为的分类/识别模型
在客户关系管理系统中嵌入客户成簇/分类功能或客户行为分析功能
在机器维护系统中嵌入监/检测或识别难以定性的设备故障功能
在数据库营销中嵌入选择最可能购买产品的客户功能
在机场管理系统中嵌入旅客人数预测、货运优化功能
在基因分析系统中嵌入DNA识别功能
在制造/生产系统中嵌入质量控制功能等
21
二、数据挖掘软件的发展
纵向的数据挖掘解决方案（99年开始）
KD1（主要用于零售业）
Options&Choice(主要用于保险业)
HNC（欺诈行为侦测）
Unica Model 1(主要用于市场营销)
22
三、数据挖掘软件的现状
情况概览
2019年9月，Amazon上关于数据挖掘的书有251本(amazon)
目前有数百个数据挖掘软件产品（kdnuggets）
数据挖掘应用相对广泛
23
三、数据挖掘软件的现状（国内情况）
大部分处于科研阶段
各大学和科研机构从事数据挖掘算法的研究
国内著作的数据挖掘方面的书较少（翻译的有）
数据挖掘讨论组（）
有一些公司在国外产品基础上开发的特定的应用
IBM Intelligent Miner
SAS Enterprise Miner
自主知识产权的数据挖掘软件
复旦德门（datamining）等
24
四、数据挖掘应用
银行
美国银行家协会(ABA)％。
分析客户使用分销渠道的情况和分销渠道的容量 ；建立利润评测模型；客户关系优化；风险控制等
电子商务
网上商品推荐；个性化网页；自适应网站…
生物制药、基因研究
DNA序列查询和匹配；识别基因序列的共发生性 …
电信
欺诈甄别；客户流失…
保险、零售。。。。。。
25
四、数据挖掘应用
数据挖掘
客
户
分
析
析
基
分
因
其他
保险客户
证券客户
银行客户
电信客户
零售客户
信用卡
储蓄卡
存折
按揭
借贷
人类基因
植物基因
动物基因
特殊群体基因
基因序列
基因表达谱
基因功能
基因制药
………...
数据挖掘中国内地市场规模未来五年内将达百亿
26
四、数据挖掘应用
为什么没有广泛使用？
数