第2章 数据仓库的数据存储与处理.ppt

2017/6/26
数据仓库与数据挖掘
1
第2章数据仓库的数据存储与处理
2017/6/26
数据仓库与数据挖掘
2
数据仓库的数据存储与处理是数据仓库系统实施的三个关键环节之一,因此本章主要探讨数据的存储结构设计和数据处理技术的研究。
遥想当年我基本上是暑假2个月的时间在公安局进行数据的ETL处理,悲催的是还仅仅针对一张表而已,说起来都是泪啊。。。。。。
2017/6/26
数据仓库与数据挖掘
3
数据仓库的三层数据结构
OLAP数据库
OLTP应用
OLAP应用
什么是ODS?
ODS全称为Operational Data Store,即操作型数据存储,是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合,用来满足企业综合的、集成的以及操作型的处理需求”。
ODS是数据仓库体系结构中的一个可选部分,ODS具备数据仓库的部分特征和OLTP系统的部分特征。
2017/6/26
数据仓库与数据挖掘
4
数据仓库的三层数据结构
ODS的出现
系统应用集成中一般对各系统中数据分为两类:
操作型数据,有细节化,分散化的特点;
决策型数据,有综合化,集成化的特点。
 数据仓库概念的提出也把数据处理划分为了操作型处理和分析型处理两种不同类型,从而建立起了DB-DW的两层体系结构。
。
2017/6/26
数据仓库与数据挖掘
5
数据仓库的三层数据结构
ODS的出现
但是有很多情况,DB-DW的两层体系结构并不能涵盖企业所有的数据处理要求,比如有些实时性决策问题,它要求获取数据周期不能太长,而且也需要一定程度的汇总。信息处理的多层次要求导致了一种新的数据环境——DB-DW的中间层ODS(操作型数据存储)的出现。
它像DW一样是一种面向主题,集成的数据环境,又像操作型DB一样包含着全局一致的、细节的当前的数据。这样就构成了DB-ODS-DW的关于企业数据的三层体系结构。
。
2017/6/26
数据仓库与数据挖掘
6
数据仓库的三层数据结构
2017/6/26
数据仓库与数据挖掘
7
数据仓库的三层数据结构
2017/6/26
数据仓库与数据挖掘
8
数据仓库的三层数据结构
2017/6/26
数据仓库与数据挖掘
9
数据仓库的数据特征
状态数据与事件数据
描述对象的状态即为状态数据;
描述对象的发生的事件即为事件数据;
(前)状态数据事件数据(后)状态数据
2017/6/26
数据仓库与数据挖掘
10
数据仓库的数据特征
当前数据与周期数据
当前数据仅保留当前的最新数据;