数据挖掘培训.pptx

数据挖掘介绍
Start
目录
简介
1
简介
3
应用说明
2
算法介绍
案例
5
挖掘流程
4
3P
4P
3P
10P
1P
3
数据挖掘概念----定义
数据挖掘--从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合。
数据挖掘与统计学
数据挖掘与人工智能
数据挖掘与数据库技术
数据挖掘与KDD
（Knowledge Discovery in Database）
数据挖掘软件的发展(分类一)
代
特征
数据挖掘算法
集成
分布计算模型
数据模型
第一代
作为一个独立的应用
支持一个或者多个算法
独立的系统
单个机器
向量数据
第二代
和数据库以及数据仓库集成
多个算法：能够挖掘一次不能放进内存的数据
数据管理系统，包括数据库和数据仓库
同质、局部区域的计算机群集
有些系统支持对象,文本和连续的媒体数据
第三代
和预言模型系统集成
多个算法
数据管理和预言模型系统
intranet/extranet网络计算
支持半结构化数据和web数据
第四代
和移动数据/各种计算设备的数据联合
多个算法
数据管理、预言模型、移动系统
移动和各种计算设备
普遍存在的计算模型
Robert Grossman， National Center for Data Mining University of Illinois at Chicago 的观点
4
第一二代数据挖掘特点
第二特点
与数据库管理系统（DBMS）集成
支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性
能够挖掘大数据集、以及更复杂的数据集
通过支持数据挖掘模式（data mining schema）和数据挖掘查询语言增加系统的灵活性
典型的系统如DBMiner，能通过DMQL挖掘语言进行挖掘操作
第二代缺陷
只注重模型的生成，如何和预言模型系统集成导致了第三代数据挖掘系统的开发
第一代特点
支持一个或少数几个数据挖掘算法
挖掘向量数据（vector-valued data）
数据一般一次性调进内存进行处理
典型的系统如Salford Systems公司早期的CART系统()
第一代缺陷
如果数据足够大，并且频繁的变化，这就需要利用数据库或者数据仓库技术进行管理，第一代系统显然不能满足需求。
5
第三、四代数据挖掘特点
第三代特点
和预言模型系统之间能够无缝的集成，使得由数据挖掘软件产生的模型的变化能够及时反映到预言模型系统中
由数据挖掘软件产生的预言模型能够自动地被操作型系统吸收，从而与操作型系统中的预言模型相联合提供决策支持的功能
能够挖掘网络环境下（Internet/Extranet）的分布式和高度异质的数据，并且能够有效地和操作型系统集成
第三代缺陷
不能支持移动环境
第四代特点
目前移动计算越发显得重要，将数据挖掘和移动计算相结合是当前的一个研究领域。
第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在（ubiquitous）计算设备产生的各种类型的数据
6
第二代软件 SAS Enterprise Miner
7
第二代数据挖掘软件 DBMiner
8
第三代软件 SPSS Clementine
9
数据挖掘软件发展的三个阶段
Gregory Piatetsky-Shapiro的观点
数据挖掘软件的发展(分类二)
10