唯智信息技术(上海)有限公司.ppt

唯智信息技术(上海)有限公司
数据仓库培训手册
数据仓库概念及设计
为什么要建立数据仓库
事务处理环境不适宜DSS(决策支持系统)应用
事务处理和分析处理的性能特性不同
操作型处理对数据的存取操作频率高而每次操作处理的时间短;
在分析处理环境中,某个DSS应用程序可能需要连续几个小时,从而消耗大量的系统资源。
数据集成问题
数据动态集成问题
历史数据问题
数据的综合问题
数据仓库概念及设计
为什么要建立数据仓库
抽取程序
用抽取程序能将数据从高性能联机事务处理方式中转移出来,在需要总体分析数据时就与联机事务处理性能不发生冲突。
用抽取程序能将数据从联机事务处理范围内移出时,数据的控制方式就发生了转变。
数据仓库概念及设计
为什么要建立数据仓库
蜘蛛网问题
起初只是抽取,随后是抽取之上的抽取,接着是在此基础上的再次抽取,如此等等,从而产生蜘蛛网问题。
数据缺乏可信性
举个例子两个部门向管理者呈送报表,一个部门说业绩下降了15%,另一个部门说业绩上升了10%。两个部门的结论不但不吻合,而且相去甚远。另外,两个部门的工作也很难协调。除非十分细致地编制了文档,否则对任何应用目的而言,协调是不可能的。
产生这种情况可以有5个理由来解释:
数据无时基
数据算法上的差异
抽取的多层次
外部数据问题
无起始的公共数据源
数据仓库概念及设计
为什么要建立数据仓库
生产率低(如图)
根据全部数据生成企业报表
定位数据需要浏览大量文件
抽取程序很多,并且每个都是定制的,不得不克服很多技术上的障碍。
数据仓库概念及设计
为什么要建立数据仓库
数据转化为信息的不可行性
数据没有集成化
缺乏将数据转化为信息所需的历史数据
数据仓库概念及设计
体系结构设计环境
原始数据是公司每天操作运行所用的细节性数据,导出数据是统计出来的或计算出来的满足公司管理者需要的数据。由于原始数据和导出数据的不同而导致的数据分离的自然扩展过程如图所示。
尽管看起来不太明显,但在体系结构设计环境中存在的数据冗余很少。
数据仓库概念及设计
体系结构设计环境的层次
在体系结构设计环境中有四个层次—操作层、原子或数据仓库层、部门层、个体层。数据操作层只保存原始数据并且服务于高性能事务处理领域。数据仓库层存储不更新的原始数据,此外一些导出数据也在此存放。数据的部门层几乎只存放导出数据。在数据个体层中完成大多数启发式分析。
考察贯穿这种体系结构的数据的简单实例,如图所示。。在操作层的记录是包含当前值的数据记录。要了解顾客的当前的情况,就访问操作层的记录。当然,,那么操作层的记录将随之变化成正确的新数据。
体系结构设计环境
数据仓库概念及设计
体系结构设计环境
在数据仓库环境中可以找到几条有关J . Jones的记录,这些记录反映了J . Jones的历史信息。比如,要发现J . Jones去年住在什么地方,就搜索数据仓库中的记录。在数据仓库环境中的数据与在操作型环境中的数据之间无重叠。如果J . Jones的地址发生了变化,那么在数据仓库中将产生一个记录,这个记录反映了从什么时间到什么时间J . Jones住在哪里。注意数据仓库中的记录无重叠,并且在数据仓库中存在与每个记录相关联的时间元素。
部门环境包括对一个公司中不同地区的部门有用的信息。所有部门的数据源都是数据仓库。部门层常被称为“数据集市层”、OLAP层或“多维DBMS”层。部门层典型数据是月度顾客文件。在此文件中是一张所有顾客的分类列表。J . Jones每月都出现在这个汇总当中。可以进一步考虑将记帐信息作为冗余的一种形式。
最后的数据层是个体层。个体层数据常常是暂时的、小规模的。在个体层要做很多启发式分析。通常,个体层数据被认为是由PC机支持的数据。高级管理人员信息系统( EIS )处理主要运行在个体层上。
数据仓库概念及设计
集成
当数据从操作型环境传向数据仓库环境时,数据就被集成,如图所示。
体系结构设计环境