数据仓库和数据挖掘综述.ppt

数据仓库与数据挖掘综述
概念、体系结构、趋势、应用
2004年6月7日
提纲
数据仓库概念
数据仓库体系结构及组件
数据仓库设计
数据仓库技术(与数据库技术的区别)
数据仓库性能
数据仓库应用
数据挖掘应用概述
数据挖掘技术与趋势
数据挖掘应用平台(科委申请项目)
数据仓库概念
基本概念
对数据仓库的一些误解
基本概念—数据仓库
Data warehouse is a subject oriented, integrated,non-volatile and time variant collection of data in support of management’s decision ——[Inmon,1996].
Data warehouse is a set of methods, techniques,and tools that may be leveraged together to produce a vehicle that delivers data to end-users on an integrated platform ——[Ladley,1997].
Data warehouse is a process of crating, maintaining,and using a decision-support infrastructure ——[Appleton,1995][Haley,1997][Gardner 1998].
基本概念—数据仓库特征 [Inmon,1996]
面向主题
一个主题领域的表来源于多个操作型应用(如:客户主题,来源于:定单处理;应收帐目;应付帐目;…)
典型的主题领域:客户;产品;交易;帐目
主题领域以一组相关的表来具体实现
相关的表通过公共的键码联系起来(如:顾客标识号Customer ID)
每个键码都有时间元素(从日期到日期;每月累积;单独日期…)
主题内数据可以存储在不同介质上(综合级,细节级,多粒度)
集成
数据提取、净化、转换、装载
稳定性
批处理增加,仓库已经存在的数据不会改变
随时间而变化(时间维)
管理决策支持
基本概念—Data Mart, ODS
Data Mart
数据集市-- 小型的,面向部门或工作组级数据仓库。
Operation Data Store
操作数据存储— ODS是能支持企业日常的全局应用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩展后得到的一个混合形式。四个基本特点:面向主题的(Subject -Oriented)、集成的、可变的、当前或接近当前的。
基本概念—ETL, 元数据,粒度,分割
ETL
ETL(Extract/Transformation/Load)—数据装载、转换、抽取工具。Microsoft DTS; IBM Visual Warehouse etc.
元数据
关于数据的数据,用于构造、维持、管理、和使用数据仓库,在数据仓库中尤为重要。
粒度
数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高,粒度越小。
分割
数据分散到各自的物理单元中去,它们能独立地处理。
对数据仓库的一些误解
数据仓库与OLAP
星型数据模型
多维分析
数据仓库不是一个虚拟的概念
数据仓库与范式理论
需要非范式化处理
数据仓库体系结构及组件
体系结构
ETL工具
元数据库(Repository)及元数据管理
数据访问和分析工具