数据仓库 EDW.pdf

该【数据仓库 EDW 】是由【青山代下】上传分享，文档一共【42】页，该文档可以免费在线阅读，需要了解更多关于【数据仓库 EDW 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:..随着企业信息化建设的发展,巨大的投资为企业建立了众多的信息系统,以帮助企业进行内外部业务的处理和管理工作。随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。同时随着时间推移,各系统不断沉淀大量的历史数据。如何打破信息孤岛,充分利用现有的历史数据,为企业提供战略决策的数据支持是各行各业所必需考虑的事情。为支持企业各项业务的长远发展,不断提高管理水平,建立实现企业数据交换、数据集成的企业级数据中心,并在此基础上初步建设数据管控平台,有效实现数据质量管理,为后续数据线规划的报表管理以及EDW等系统建设奠定基础,为企业提升核心竞争力,优化资源配置、实施有效管控,提高服务水平、科学可待续发展和加速发展奠定良好的基础。:..系统规划蓝图:..:..1数据交换、数据加工基于统一的调度监控ETLPLUS、调度引擎JSI模块封装SHELL、可执行程序、存储过程、Datastage作业等各种作业类型的执行接口?高扩展性设计,实现ETL、调度监控和硬件的集群报表工具(、其他)成熟组件支持,文件交换组件,数据加工组件2、团队优势BI线条员工超过1200人,覆盖咨询、解决方案、研发、实施各个层面参与众多的ODS/EDW/BI项目实施团队彼此配合程度高、统一协调、合作经验丰富:..数据仓库EDW现代商业银行面临着诸多挑战,包括金融改革日益深化的挑战、面临来自外资银行的竞争、银行国际化的发展需要、客户的要求越来越成熟、监管机构对银行的监管越来越严格。面对这些挑战,要求金融企业对企业经营数据和信息进行充分的掌握和分析,以帮助企业精确掌握企业的经营状况和准确决策。建立企业级的银行数据仓库是银行业整体信息资产的管理,建立信息资产的运营服务体系,提升信息资产的业务价值。东南融通投入了大量资源研究银行企业级DW&BI应用体系,如下图所示::..:..参照国际银行领先DW&BI体系架构,规划银行企业级DW&BI的技术框架、数据模型、应用框架,结合银行的业务管理改革步伐制定整体实施计划,帮助银行循序渐进地逐步建成企业级DW&BI系统。二、数据仓库技术平台数据仓库技术平台,即设计企业级DW&BI的整体技术框架,涵盖数据仓库、ETL、BI前端工具、元数据管理、数据质量管理、系统管理等关键技术的设计与集成。三、,描述了数据仓库各个主题域的实现,是对银行全行数据进行整合和组织的工具。具有良好的完备性、扩展性和先进性。四、商业智能行业应用满足个人金融部、公司金融部、计划财务部、风险管理部、信用卡部等各业务部门的日常统计报表、分析报表、管理报表;提供高层领导需要的各类统计指标数据;满足监管机构的报表。并提供ACRM、绩效考核、平衡计分卡、资产负债管理等应用系统。五、数据仓库实施方法论按照结构化的过程管理思想,结合数据仓库系统实施的特点,详细定义了建设一个满足客户需求的DW&BI系统所不可缺少的实施方法和项目管理方法,以降低系统实施的风险和成本,提高系统的可用性、可扩展性、灵活性。六、数据仓库专业技术服务:..BI专业实施服务团队,具备丰富银行经营管理知识和丰富的项目实践经验。以客户为中心,提供优质、及时、高效的服务,帮助银行实现商业智能技术与先进业务管理模式的整合,提升经营管理的基础平台,为客户提供业务策略分析及优化服务,帮助企业获得市场优势和价值回报。七、解决方案特点1、,能够为银行制度长期的建设规划。2、,数据整合工具LFTETL-Plus、元数据管理平台LFTMetadata、调度与监控平台LFTDispatch、数据治理平台LFTGovernance。3、具有大量的基于EDW的BI应用系统建设经验。4、采用最开发的平台和技术架构。5、最低的总投资成本。6、最低的项目实施风险。,并结合国外的最佳模型,在国内多个银行拥有成功案例。,是预定义的、面向主题的、可扩展的数据模型,。,最大程度的适应银行业务系统的升级和更换,以及新业务的开展。:..:..随着企业数据中心的建立,企业已经构建了企业级数据视图,但如何快速高效的提供数据服务,真正实现数据资产的价值,已经成为企业面临的一个迫切问题。一、目标场景随着市场环境不断变化,企业需要进行动态的经营管理,业务部门需要能够快速的获取各种信息,特别是在如下场景的快速支持:、、服务对象开放数据服务主要针对以上场景,对以下类型的数据需求提供快速直接的服务::..,,也有部分统计数据三、解决的问题开放数据服务既能解决上述的业务问题,同时还解决了企业数据中心建设后的如下问题:1、建设周期长:须先建设数据集市,再开发应用。2、响应成本高:目前,传统工具开发报表过于复杂,大量IT人员投入到重复性的开发工作。3、业务人员缺乏主动获取数据的手段:目前,没有操作简单、界面友好的取数工具。4、IT与业务缺乏良好的协作平台:缺乏对数据开放过程的协作管理、应用监控。,通过灵活报表引擎、图形、Execl/pdf/txt/html导出、***表、批量物化和***表等数据开放服务技术,实现自助查询、灵活报表、临时IT需求、临时报表、明细报表、外部数据需求等开放式数据服务。逻辑架构如下图所示:..一、概述目前金融企业正在面临前所未有的变革,集中体现在:业务变化的周期越来越短,客户的个性化要求越来越高。很多银行迫切需要及时洞察客户,在金融产品和服务都需要完整、全面、及时的客户及其相关产品信息,但由于历史的原因,这些信息分布在银行的多个业务系统,造成了客户信息的分散,无法共享。东南融通总结多年来在各专业银行数据整合、客户信息管理系统成功案例基础上,参照国际先进经验和模型,专门为区域性金融企业设计的、全面提升银行营销水平的客户信息的整体解决方案,即ECIF(EnterpriseCustomerInformationFacility:企业级客户信息整合系统)系统解决方案。二、解决方案特色1、LFT-ECIF基于整体数据整合的客户信息,在数据的起点实现数据的一致性,有效的避免了某些客户信息产品的数据失真在处理过程中的放大缺陷。2、融合了元数据、ODS、ECIF、OCRM、ACRM等最新处理技术,实现了以完整信息对营销的全方位支持。3、可分阶段、分模块的实施过程,最大限度的保护企业原有的投资。4、架构设计具有高度的可扩展性,不仅能快速适应银行业务发展的需要,而且能通过加深数据挖掘深度来提升企业的经营水平。:..方案内容:..系统应用价值1、为现有应用系统和未来新建的应用系统提供实时的、完整的、共享的、一致的客户信息。2、推动银行新的业务流程再造3、建立新的业务规章制度4、规范客户营销、销售和服务流程,使客户体验更为亲切和方便5、使银行员工操作更为简洁和高效6、使内部管控和风险防范更有及时和有力。元数据管理东南融通元数据管理平台()主要针对企业在建设数据仓库项目过程中,出现的以下问题:1、每个工具都提供部分数据仓库结构信息即元数据功能,但没有全局的数据仓库视图;2、大量存在同一个数据(用户、产品和数据字典)在不同部门或系统中重复出现现象,含义和取值有可能都不同;:..4、数据质量问题严重,出现数据质量问题后,无有效手段分析和定位问题。,它保证了数据仓库数据的一致性和准确性,为企业进行数据质量管理提供有力支持。:..作为真正端到端的元数据管理工具,提供跨工具和应用的企业级的元数据统一视图,提供了清晰定义和分析跟踪业务运作历史数据的实际可行的解决方案。二、可定制的元模型管理提供企业数据仓库环境内置的元数据类型支持;支持用户按需定制元模型结构,形成统一的元数据类,特别适合支持业务元数据的管理,同时多样性的类关系管理支持灵活、规范的元数据项关联关系。三、自动获取和关联元数据可连接其他软件工具(Oracle、DB2、ESSBASEOLAP、DB2OLAP、PowerCenter、Erwin等)自动获取元数据,保证了元数据的最新、一致、可用、极大减少人工维护工作量。通过目录映射功能,在元数据采集时,自动映射两个来自数据库、BI工具的元数据。减少人工映射的工作量。支持SQL解析功能的元数据获取功能,大大减少已有存储过程或脚本语句等ETL作业的手工整理ETL映射元数据的工作量。四、强大的分析功能血统分析影响分析表重要程度分析元数据属性差异分析:..业务线数据流图分析ETL生命周期分析五、完整的生命周期和版本管理系统提供元数据的生命周期管理,发布、删除和状态变更都有严格的流程,并提供了版本管理功能,这些都确保元数据的质量,保证了后续使用元数据系统的权威性和可靠性。数据质量管理系统数据质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。1、信息问题域:..产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。2、流程问题域流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节:3、技术问题域技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容。4、管理问题域管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题,如人员管理、培训和奖励等方面的措施不当导致的管理缺失。人员管理所产生的质量问题主要指:一、Longtop数据质量管理策略数据质量做为众多业内客户IT建设过程中的普遍问题,其解决及管理之道主要可从以下几方面进行考虑:逐步提高对于数据的认识:..建立数据质量管理体系进一步建立并完善管理制度贯彻数据标准制定数据质量度量标准二、数据质量管理产品简介数据质量产品是东南融通公司在提炼多个数据质量管理实施项目的基础上研发的企业级数据质量管理产品,具有较强的数据质量管理功能,支持对企业数据进行多维度的数据质量检核,具备完善的检核问题的管理流程,产品基于J2EE架构,可以运行在主流的操作系统之上,其存储库支持主流的企业级数据库,产品在多家金融机构已成功实施并得到客户肯定。三、功能体系:..企业级数据标准是为了规范各类业务系统建设时对业务的统一理解,而对数据的分类以及其中的业务和技术属性进行详细描述,以增强业务部门和技术实施部门对数据定义和使用的一致性。:..还要将这套数据标准的定义真正地执行、落实到客户的各系统中,并为客户制定全面的数据标准管理流程和今后的管控、维护提供依据。一、数据标准目标数据标准的规划、定义和实施是一个复杂、持续、渐进的过程,周期较长,需要根据业务的优先级设定进行分阶段的实施和不断完善,本期数据标准项目的目标是:1、数据标准实施路线规划2、基础性数据标准定义框架3、重要主题的统一业务定义4、完善的数据标准管理流程5、前瞻性的标准执行建议二、数据标准的规划和实施路线图通过进行业务调研和信息调研,根据设定的优先级和可实施条件(包括数据是否完备等)是否成熟,结合客户的实际情况规划并制定出详细的数据标准实施路线图。:..完成数据标准的业务和技术定义工作,确定对数据的业务含义的统一解释以及在应用环境中对数据的统一技术要求。需涵盖主要的业务主题,并可以根据具体情况在每个主题体现的层次和深度有所侧重,但必须保持完整性,以便能在将来对标准进行扩展和完善。四、数据标准映射根据未来重点应用的要求,结合目前应用系统的实际情况,选择最重要的标准定义,从数据层面进行主要源系统或数据仓库的映射。在此过程中发现的问题和不足可以作为对源业务系统和数据仓库的改进建议的重要输入。五、数据标准执行根据标准定义和数据映射的实际情况,提出有针对性的数据标准执行建议,实现数据标准的“落地”。六、数据标准管理办法:..七、数据标准管理工具开发支持数据标准的维护和管理平台,支持未来的标准管理工作,作为数据标准化小组成员使用的工具,便于数据标准的维护。统一报表管理平台随着银行经营管理体系的不断完善,银行业务的不断拓展以及银行监管的日益严密,需要制作的报表也越来越多,同时生成的频度也越来越高,要求的数据也越来越精确。而从另一方面而言,银行的规模越来越大,网点分布日益广泛,现有的报表系统业务数据分散、功能单一、界面不够友好,已经无法满足银行经营管理活动的需要。国内大多数同业银行已建设完成或正在建设全行层面的报表系统。因此,建立及时、准确、安全、可靠、便捷的报表生成、传播和使用机制是银行的当务之急。一、技术架构ODS是综合报表平台的主要数据来源,根据综合报表平台的应用需要,ODS提供加工好的明细数据综合报表平台,经过第三方厂商报表工具如Cognos等的加工和发布,用户最终通过通用展现平台访问报表。:..报表数据集市按照不同数据层次存放不同粒度、不同主题的数据模型。通过多层次报表数据集市的数据存储,大大提高了前端应用访问的效率,用户能方便地实现灵活、动态、快速、多角度、多层次地分析业务报表数据。:..前端展现平台主要利用第三方厂商报表工具的功能进行报表、查询、KPI的展现,同时支持主动集成其他应用的服务和被动整合应用的服务。第三方厂商报表工具是比较优秀的前端展现工具,能够支持多种的展现形式。四、报表系统开发平台利用第三方厂商报表工具自带的开发环境ReportStudio、QueryStudio和Transformer进行报表、查询和多维分析的开发。同时我们根据多年第三方厂商报表工具使用经验,进行第三方厂商报表工具配套组件的开发,如自动化组件,它可以根据客户在Excel定义的模板自动生成MDL的Cube定义文件,从而大大提高第三方厂商报表工具OLAP的开发效率,有效的降低了第三方厂商报表工具开发技术门槛;再如应用功能组件,它可以进行第三方厂商报表工具代码封装进行某种特定应用功能的实现。这些都大大的增强第三方厂商报表工具开发效率和进度,提高第三方厂商报表工具开发的质量。五、报表系统管理平台由于第三方厂商报表工具本身是前端展现平台和前端开发平台,本身对于报表管理的功能较弱。基于我们在多个客户中实施经验,我们认为统一报表管理平台对于综合报表平台来说非常重要,他对于提升银行报表管理水平是大有帮助的。主要包括有:报表上报审核管理、报表使用统计分析和报表检索服务。六、数据加工平台数据抽取、转换和加载是将数据从综合报表平台提供的数据整合到报表数据集市的过程。ETL平台主要包括的功能有:调度功能、作业封装、事件管理、资源管理及ETL自动化。七、系统运维管理平台:..IT平台。运维管理主要是针对报表数据集市、数据加工平台进行管理,面向的最终用户是IT人员。主要功能包括:监控、备份、恢复、安全和异常处理。八、通用展现平台在一个统一的B/S架构下,基于通用展现平台,实现用户统一的登录、认证和授权,实现用户统一的前端访问平台。综合报表平台未来将实现业务报表,另外,综合报表平台还包括工作台、公告发布、数据补录、访问统计、平台监控等功能,实现人员角色和功能的集成管理,极大的方便最终用户的操作。九、功能设计报表系统功能如图所示:信用卡分析管理:..体如下图::..M来整合银行信用卡业务的方方面面的数据,所有相关的信息均在FDM模型进行存储。、500+个实体、2000+个属性。M中FDM主题域划分::..:..我们提供信用卡管理业务分析体系功能,如:市场概貌性分析客户管理与分析渠道管理精准营销风险概貌性分析资产管理额度管理绩效管理灵活查询平台灵活查询平台是东南融通公司最新研发的面向关系数据库的BI前端工具。它提供了强大的语义层定义和管理能力、灵活的查询和分析能力、丰富的报表展现和完善的门户(Portal)管理能力,并且部署简便,为企业级数据分析提供了高性能、高效率的灵活查询报表系统解决方案。:..2、采用Ajax技术开发,用户在Web浏览器中能够直接拖拽业务对象,不用写SQL语句,就能够生成灵活的查询和分析,构建查询即方便又灵活。3、集数据源管理、语义层定义和查询分析以及Portal展现于一身,并通过安全可靠的权限管理机制来控制不同用户的数据权限及操作权限。4、使项目开发及维护的过程都更加轻松,易于和任何第三方系统进行整合。:..:..及多字段运算的结果构成。在项目开发阶段,通过语义层定义之后,当有新的报表开发需求时,只需要重新定义业务查询即可,大大节约了开发成本和新增开发人员熟悉项目的时间。快速的业务查询定制?1、可视化查询定义可视化查询是对经过语义层封装后的业务对象进行操作、建立各种查询。根据业务需要,业务人员通过简单的界面拖拽操作,可以灵活地定制可视化查询以实现各种数据处理逻辑。可视化查询之间可以互相嵌套,以实现可视化查询的复用。2、传统查询定义业务查询也支持通过传统的SQL查询和存储过程查询来实现。二、灵活的分析报表1、表格分析:..2、图形分析灵活查询平台提供柱图、线图、饼图、堆积图、双Y轴、仪表盘等图形分析方法,图形具备形象、动态的视觉效果,帮助用户更加直观、更加快速的把握表格中的有用信息。3、分析跳转分析跳转功能允许用户建立一个报表链接,将多个报表关联起来,实现从一个报表跳转到另一个报表。4、告警告警功能可实现对关键信息的实时监控,帮助用户及时发现问题并采取相应的措施。三、丰富的信息展示1、个性化主页灵活查询平台为用户提供个性化的个人主页。通过门户管理,将最新、最关键的信息发布到个人主页上。页面简洁亮丽,带给用户良好的视觉感受。随需而变的主页内容,满足用户个性化需求。2、输出方式:..Excel、TXT、HTML、CSV等文件类型导出。四、整体系统特性1、易用性系统对管理员和业务用户提供统一的web页面,功能入口清晰,帮助信息明确,操作更加简易灵活。语义层定义,使用户看到和操作的数据是自己所熟悉的业务对象。即使是普通的业务用户,也可以轻松灵活地定制自己所需要的查询和分析。Ajax技术的大量应用使Web服务的易用性达到新的水平,通过鼠标的拖拽操作,无需书写SQL语句,即可完成查询分析操作。2、安全性灵活查询平台提供完善的安全管理机制。基于角色的安全策略:按权限分等级管理用户及业务查询,业务分析等资源;系统安全:所有的密码采用DES或MD5加密算法进行加密;数据完整性:采用MD5withRSA算法保证数据完整性验证;:..协议,保证传递数据间的安全性;数据安全:对数据库的访问控制粒度可以达到字段级别,同时也支持数据行的访问限制;功能安全:可设置不同角色对不同功能的使用权限;资源安全:可设置不同角色/不同用户对不同资源访问权限。3、平***立性灵活查询平台的平***立性体现在以下几点:独立于操作系统平台,支持部署在WindowNT平台及主流Unix平台;独立于底层关系数据库,支持DB2、Oracle、SQLServer、Informix、Sybase等。独立于应用服务器平台,支持遵守J2EE标准的Web应用服务器,包括WebSphere、WebLogic、JBoss、Tomcat等;4、可维护性灵活查询平台采用B/S架构,部署容易、升级简便。此外,系统还提供知识库备份和恢复、数据迁移工具,使日常维护工作更轻松。5、可集成性:..URL链接可以快速嵌入第三方应用系统,和J2EE环境。灵活查询平台提供丰富的API,便于二次开发。银行管理驾驶舱一、背景银行的各应用系统已经建立起大量的应用基础数据,如何对这些数据进行加工,并形成银行满足经营管理需求的KPI和报表,最终为银行决策层提供更精确及时的管理决策信息已经成为迫切需要解决的问题。银行管理驾驶舱应运而生,为银行决策层提供信息服务。二、价值银行管理驾驶舱的核心价值是建立高层战略决策支持统计指标框架,主要针对经营指标,如行内业务规模、收益、风险、市场规模类指标,使用仪表盘技术,综合展示现状及目标完成进度以帮助了解目前经营指标是否均衡发展,市场规模是否良好发展的态势。最终用户主要为银行高层领导及部门主管以上人员。:..:..在此基础上,满足银行决策层的管理需求,综合、全面、便捷、直观的展现业务经营状况,通过历史趋势分析、机构纵向比较、同业横向对比、预算执行状态多方面来展示经营情况。四、多样化的展现形式银行管理驾驶舱可实现关键指标的多角度(风险预警、趋势分析、排名分析、结构分析、关联性分析、比较分析、计划监测、综合分析)、多样化(表格、饼图、柱图、折线图)、灵活性(可自定义的显示方式、显示角度)的展现。