数据仓库分析介绍.doc

数据仓库分析介绍.doc数据仓库分析介绍数据仓库技术是基于信息系统业务发展的需要,基于数据库系统技术发展而来,并逐步独立的一系列新的应用技术。使用这些技术建设的信息系统我们称为数据仓库系统。随着数据仓库技术应用的不断深入,近几年数据仓库技术得到长足的发展。典型的数据仓库系统,比如:经营分析系统,决策支持系统等等。也随着数据仓库系统带来的良好效果,各行各业的单位,巳经能很好的接受“整合数据,从数据中找知识,运用数据知识、用数据说话”等新的关系到改良生产活动各环节、提高生产效率、发展生产力的理念。数据仓库技术就是基于数学及统计学严谨逻辑思维的并达成“科学的判断、有效的行为”的一•个工具。数据仓库技术也是一利达成“数据整合、知识管理”的有效手段。数据仓库是面向主题的、集成的、与时间相关的、不可修改的数据集合。这是数据仓库技术特征的定位。数据仓库主流支撑技术数据仓库系列技术,主要支撑技术有以下一些:数据库技术、ETL技术、OLAP技术、无数据管理技术、前台展现技术、报表技术、挖掘技术、仿真优化技术。这些支撑技术结合各行业业务后,可以生产各式各样的应用。当然这些技术中,重点突出了在数据仓库方面的特征,而忽略了计算机技术的一些特征。数据廉技术数据库技术是支撑数据仓库技术的最基础技术。有关系数据库、层次数据库、网络数据库等类型,目前呈现比较好的发展态势的对象关系数据库也是一种类型。最典型的是关系数据库的应用。在数据仓库实践中,关系数据库是实质的数据库存储工具,但针对不同的数据仓库方案,有的关系数据库是还提供了有关的数据仓炸元素的查询函数或组件,在支撑数据仓库数据存储的基础上,还能支撑数据仓库的数据探查,比如:Teradata,但是,大部分数据库,以及在大部分数据仓库建设方案中,只是利用数据库作为数据存储的工具。这样,实质上数据仓库与数据库在技术表现看起来可能是一样的,但是,在系统存储模型上却有着本质的区别。数据摩技术在存储模型建设方面强调数据模型的规范性和高效存储能力(少冗余),比如:关系模式符合第三范式。但是,数据仓库技术在存储模型建设方面强调数据查询的方便性和快速响应能力。那么,在数据仓库技术存储模型方面,基于数据库技术而发展的关系模式的理念已经被颠覆,取而代之是各种各样的数据仓库数据模型。如:星型模型,雪花模型等等。数据库表也将原来的关系模式改称为了事实表和维表,将原来数据库技术中并不关心的属性域及之间的关系,也分别取了自己的业务名称,如:维度,量度,层次,粒度等。星形结构数据模型:雪花结构数据模型:性别 ::年两者区别:星型架构中,每个维度都有一个由一些部分组成的主键,该主键连接到事实数据表中由多个部分组成的主键的一个部分。在雪花模型中,-•个或多个维表分解成多个表,每个表都有连接到主维度表而不是事实数据表的相关性维度表。ETL技术ETL技术是支撑数据仓库系统正常运转的基本技术。因为数据仓库系统是集成的、与时间相关的数据集合。随着时间的推移,各种新数据的进入,旧数据的转移等等工作,仓炸建设前后,都没有间断过。要实现这些数据的自动更新运转,以及新业务数据、旧格式新的不同代码的数据进行较好的适应性动更新运转,ETL技术是必不可少的技术之-ETL是Extraction>Transformation、Loading数据抽取、转换、装载系统,该系统整合不同的数据源过来的数据,并对数据进行初步的规格化整理,清洗除杂。OLAP技术OLAP技术联机分析处理(OLAP)。当时,Code!认为联机事务处理(OLTP)己不能满足终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此Code!提出了多维数据库和多维分析的概念,即OLAP。Code!提出OLAP的12条准则来描述OLAP系统。基于Codd的12条准则,各个软件开发厂家见仁见智,其中-•个流派,认为可以沿用关系型数据库来存储多维数据,于是,基于稀疏矩阵表示方法的星型结构(starschema)就出现了。后来乂演化出雪花结构。为了与多维数据犀相区别,则把基于关系型数据库的OLAP称为RelationalOLAP,简称ROLAPo代表产品有InformixMetacube>MicrosoftSQLServerOLAPServices□ArborSoftware严格遵照Codd的定义,自行建立了多维数据库,来存放联机分析系统数据,开创了多维数据存储的先河,后来的很多家公司纷纷采用多维数据存储。被人们称为MuiltdimensionOLAP,简称MOLAP,代表产品有Hyperion(原ArborSoftware)Essbase>S