基于ODSB架构的数据仓库培训教材.ppt

ChinaConstructionBank.|*基于ODSB架构的数据仓库培训ChinaConstructionBank.|*提纲数据仓库基本概念数据仓库的相关技术ODSB模型基于ODSB模型的汇总区ODSB模型架构基于总行ODSB架构的实施流程ChinaConstructionBank.|*数据仓库基本概念—名词解释数据仓库:数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,它用于对管理决策过程的支持。主题:是指用户使用数据仓库进行决策时所关心的重点方面,如:收入、客户、销售渠道等;所谓面向主题,是指数据仓库内的信息是按主题进行组织的,而不是像业务支撑系统那样是按照业务功能进行组织的。集成:是指数据仓库中的信息不是从各个业务系统中简单抽取出来的,而是经过一系列加工、整理和汇总的过程,因此数据仓库中的信息是关于整个企业的一致的全局信息。随时间变化:是指数据仓库内的信息并不只是反映企业当前的状态,而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。ChinaConstructionBank.|*数据仓库的特点效率足够高:数据仓库的分析数据一般分为日、周、月、季、年等,可以看出,日为周期的数据要求的效率最高,要求24小时甚至12小时内,目前普遍的数据展现方式为T+1,即当日处理昨日的业务数据。数据质量:基于数据仓库的应用所面对的一般为企业决策层用户,所以对数据仓库提供的各种信息,肯定要准确的数据;但由于数据源有脏数据或者代码不严谨,所以数据仓库流程通常分为多个步骤,包括数据抽取,清洗,转换,装载,查询,展现等等;其中数据清洗则主要对抽取过来各数据源的脏数据和不规范数据进行统一标准化。扩展性:有的大型数据仓库系统架构设计复杂,是因为考虑到了未来3-5年的扩展性,这样的话,未来不用花太多时间去重建数据仓库系统,就能很稳定运行。主要体现在数据建模的合理性,数据仓库方案中多出一些中间层,使海量数据流有足够的缓冲,不至于因为数据源的变动而导致用户应用功能的频繁变动。ChinaConstructionBank.|*数据仓库的相关技术ChinaConstructionBank.|*数据仓库的相关技术-数据处理DataStage:是由IBM公司开发的,是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化,并将其输入数据集市或数据仓库目标数据库的集成工具。DataStage能够处理多种数据源的数据,包括各种数据库系统及普通文件系统等。优点是对于多数据源中的数据处理和文本数据可以通过简单的配置轻松的实现;缺点是对于需要复杂业务逻辑运算的数据处理比较繁琐,可读性较差。Pro*C:ORACLE支持的通过在过程化编程语言C/C++中嵌入SQL语句而开发出的应用程序。优点是C语言的逻辑控制能力强;缺点是可移植性差,有指针引起的内存泄露隐患。存储过程:存储过程(StoredProcedure)是在大型数据库系统中,一组为了完成特定功能的SQL语句集,经编译后存储在数据库中,用户通过指定存储过程的名字并给出参数(如果该存储过程带有参数)来执行它。优点是存储过程是编译过的,执行快,写程序简单,升级、维护方便;缺点是可移植性差,编程语言SQL功能较差,对文件的处理比较弱。ChinaConstructionBank.|*数据仓库的相关技术-数据展现Cognos:IBM公司的BI产品,主要提供固定报表,灵活报表,仪表盘,多维分析等展现工具为企业提供提供完整的业务智能功能的解决方案。RIDE:建行自主研发的报表集成开发环境的简称,它主要为了屏蔽各种BI工具的差异性保证信息展示风格一致,提供面向用户的逻辑系统以实现个性化的信息展示。ChinaConstructionBank.|*数据仓库的相关技术-数据挖掘数据挖掘工具可分为数据挖掘工具及文本挖掘工具,它的核心是具有多元化的数据访问能力,强大的数据处理能力,丰富的数据模型以及直观的数据展现能力。ChinaConstructionBank.|*ODSB模型总账(5张表)协议(188张表)团体(49张表)事件(120张表)渠道(11张表)产品(30张表)公用(58张表)扩展区(7张表)ChinaConstructionBank.|*基于ODSB模型的汇总总行汇总区 账户层面的日交易汇总、月汇总信息,总行已经考虑了各分行的共同应用需求,已经在ODSB公共汇总层进行。分行汇总区 如果各分行的一些公共应用在现有的总行汇总区中不能满足,如客户层面的汇总、机构层面的汇总,则可提炼出公共的要素,将在分行的数据平台的公共汇总层进行统一加工,为各管理信息系统使用。