《数据仓库技术在企业信息系统建设中的应用》.doc

数据仓库技术在企业信息系统建设中的应用
谢新建宋晔
( 北京理工大学计算机科学系, 北京 100081)
摘要:本文从建设原则、体系结构、关键环节等几个方面并结合某电信运营商的具体案例说明了数据仓库技术在国内电信业的应用,其中重点说明了异种数据源集成、ODS层的设计、ETL过程的设计、仓库模型设计、元数据管理以及专题数据挖掘等关键环节,对企业数据仓库项目的工程实施有一定的参考价值。
关键词: 数据仓库;ETL;元数据;遗留系统
中图分类号: TP311 文献标识码:A
引言
数据仓库技术是经过了十几年的研究与发展,在理论与工程实践上都取得了显著的成果。国际上许多重要的学术会议,如超大型数据库国际会议(VLDB),数据工程国际会议(Data Engineering)等,都出现了大量专门研究数据仓库(Data Warehousing)、联机分析处理(On-Line Analytical Processing)、数据挖掘(Data Mining)[1]的论文,同时各大数据库厂商纷纷推出相应产品支持数据仓库,比如NCR、SAS、Oracle、IBM、Informix、Sybase等都提出了相应的数据仓库解决方案;另一方面,随着信息技术的飞速发展,企业内部产生了越来越多的数据,但这些数据并没有产生应有的信息,为此出现了“数据爆炸,知识贫乏”的窘迫局面,
有效地整合与充分利用现有的信息资源成为企业提高核心竞争力的关键。本文以电信行业为例分析了企业经营分析与决策支持系统的建设应用,重点阐述数据仓库相关技术。
数据仓库系统的设计
、系统设计原则
(1) 通用化性原则
企业各地分支机构在组织构架、业务划分与侧重、其所运行的OLTP系统所依赖RDBMS、电信数据综合分析与决策支持系统所需要的数据源的类型与格式等不尽相同,这些都在企业数据综合分析与决策支持系统通用化设计的考虑范围之内。
(2) 可扩展性原则
随着业务内容的变化,业务系统的信息范围会发生变化,而对于作为统一信息服务平台应设计性能良好的体系结构,保证系统灵活的功能可扩展性。即在保持系统架构与原业务分析逻辑的前提下,系统能实现简洁的分析主题与功能性扩充。
(3) 技术开放性原则
为保护用户投资,通过透明访问技术,要保证系统能够独立于具体平台工具,对用户形成统一的功能和界面。在工具和平台的选择上给用户提供自由选择的最大余地。
(4) 兼容性原则
企业在信息化建设的过程所积累的信息资源是企业最为宝贵的财富,新建的经营决策分析系统应有效的兼容原系统,尤其兼容原系统的数据资源。
、系统体系结构
根据上述的设计原则,并结合系统设计目标,提出电信经营分析与决策系统的总体结构如下:
图1 经营分析与决策支持系统总体结构
如上图所示,异种数据源的企业应用集成接口实现异种数据源的透明访问,要支持各种关系数据库、平面文件、
XML文件等形式。根据企业的分析应用需求,通过设计与实现操作数据存储(ODS)[2]层来达到面向应用的企业级数据视图,系统也支持通过异种数据源的企业应用集成接口直接实施数据仓库的ETL过程。
在基于元数据的控制逻辑的驱动下,系统实现从业务数据源和ODS的数据抽取、清洗、转换与加载的过程,以面向主题的形式来组织数据仓库的数据;数据集市是面向部门级分析而组织分析模型,一般组织成Cube立方体的形式向上支持在线多维分析。同时为了对特定问题(如欠费离网)进行深入分析,系统要建立相应的分析挖掘模型,一般采用星型与挖掘宽表的形式进行处理。
元数据是关于数据的数据,即反映系统结构性本质信息的数据描述。一般认为包括技术元数据与业务元数据,为了实现系统应用层对物理层的透明访问系统引入了元数据内联映射的概念,对于元数据的存储系统采用两层接口封装实现元数据存储的规范性与灵活性。
从数据集市、挖掘模型以及从ODS获取的数据集与以元数据存储的报表模板、分析模板、门户Portal模板、XML Schema等结合来生成满足分析与决策需要的各种展现内容,包括预定义报表、即席查询(Ad Hoc)、OLAP分析、业务挖掘分析报告、企业经营指标监控Portal等,满足企业经营分析与决策支持的需要。
系统实现了基于元数据的全程管理,涉及数据获取层、数据整合层以及数据展现层的全过程,支持分析模型的维护以及数据源的结构性变化,通过经营分析与决策支持监控门户提供包括展现报表定制、元数据维护、门户定制、统一安全管理等管理服务。
、系统关键环节
异种数据源集成
企业在进行经营分析与决策支持系统建设时必须将遗留系统(Legacy System)[3]进行高效全面地集成,由于遗留系统是在企业发展的不同时期建设的,往往缺乏全局的规划,