数据集成整体解决方案.pdf

该【数据集成整体解决方案 】是由【青山代下】上传分享，文档一共【8】页，该文档可以免费在线阅读，需要了解更多关于【数据集成整体解决方案 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:..数据集成整体解决方案数据集成是指将企业分散的信息系统中的业务数据再次集中、统一管理的过程。这是一个渐进的过程,只要有新的、不同的数据产生,就需要不断进行数据集成的步骤。随着企业信息化的发展,数据变得凌乱、重复、歧义,数据集成的空间与需求日渐迫切,因此企业需要一个主数据管理系统来统一企业的产品信息、客户信息;需要一个数据仓库系统来提升领导层的决策意识,加快市场战略调整行动;需要一个数据中心系统来集中交换、分发、调度、管理企业基础数据。数据集成的必要性和迫切性不言而喻,已经成为企业信息化战略规划的首要位置。要实现企业数据集成的应用,不仅要考虑企业急需集成的数据范围,还要从长远发展考虑数据集成的架构、水平和技术等方面内容。从数据集成应用的系统部署、业务范围、实施成熟性来看,主要可分三种架构:单个系统数据集成架构、企业统一数据集成架构和机构之间数据集成架构。单个系统数据集成架构是国内目前大量采用的架构,主要是以数据仓库系统为代表提供服务而兴建的数据集成平台,面:..向企业内部如ERP、财务、OA等多个业务操作系统,集成企业所有基础明细数据,转换成统一标准,按星型结构存储,面向市场经营分析、客户行为分析等多个特有主题进行商务智能体现。这种单个系统数据集成应用架构的主要特点是多对一的架构、复杂的转换条件、TB级的数据量处理与加载,数据存储结构特殊,星型结构、多维立方体并存,数据加载层级清晰。企业统一数据集成架构适用于组织结构较复杂的大型企业、政府机构等,这类单位具有业务结构相对独立、数据权力尤为敏感、数据接口复杂繁多等特征,更需要多个部门一起协商来建立一个统一的数据中心平台,来解决部门之间频繁的数据交换的需求。例如金融机构、电信企业、公安、税务等政府机构,这些机构的业务独立、层级管理的组织结构决定了内部数据交互的复杂性。概括来说,此类应用属于多对多的架构、数据交换频繁、需要独立的数据交换存储池、数据接口与数据类型繁多等特点。企业管理和决策性较强的信息系统,例如主数据管理系统、财务会计管理系统和数据仓库系统,可以直接从数据中心获取数据。这种方法避免了在没有企业数据中心时出现的一对多交叉的问题,并且避免了业务系统需要重复传输数据的情况。例:..如,当在CRM系统中新增一条客户信息数据时,可以直接将数据发送到企业数据中心,然后由企业数据中心面向风险管理系统、数据仓库系统和主数据管理系统进行分发。跨机构数据集成架构通常应用于多个单位围绕某项或几项业务进行的业务活动,或由一个第三方机构来协调这些企业、机构之间的数据交换,以制定统一数据标准,从而形成一个多机构之间的数据集成平台。例如,XXX与各商业银行之间的应用案例、各市政府信息中心与市政府各机关单位之间的应用案例、外贸EDI(海关、检验检疫局、XXX、银行、保险、运输等)以及BTOB电子商务平台等。这种应用属于跨多企业、单位多对多的架构,具有数据网络复杂、数据安全性要求高、数据交换实时性强等特点。对于这种跨机构数据集成架构,需要考虑数据的安全性和独立性。因此,各企业、单位需要考虑在业务系统与数据集成平台之间增加一台前置机,以增强自有系统数据的独立性和安全性,同时更有利于数据平台对数据的获取、分发和交换的统一要求。此外,数据集成平台还需要具备更多的技术功能,以满足众多单位的众多数据接口、多种数据类型、不一致的数据:..标准、数据交换的实时性、对数据的抽取与推送(PullANDPush)等业务需求。例如,数据集成平台需要具备数据连通、ETL、数据实时、数据清洗、数据质量、EBS(EnterpriseServiceBus)和SOA(Service-OrientedArchitecture)等技术和特点。等。这些工具具有可视化的操作界面,通过拖拽配置等简单操作就能完成数据抽取、转换、加载等操作,大幅度降低了开发难度和工作量,同时也提高了数据集成的效率和准确性。数据同步(n)应用:数据同步主要是指将不同系统之间的数据进行实时同步,保证数据的一致性和及时性。这种应用场景在金融、电信等行业比较常见,例如银行的ATM机、POS机等交易终端和核心银行系统之间的数据同步。数据同步的实现方式有多种,例如基于数据库的触发器、消息队列、数据复制等技术。数据交换(DataHubs或者叫主数据管理:MasterDataManagement)应用:数据交换主要是指不同系统之间的数据交换,例如不同企业之间的B2B数据交换、不同部门之间的B2C数据交换等。这种应用场景需要考虑数据的安全性、完整性、一致性等问题,同时也需要考虑数据格式的转换和映射问题。近年来,随着云:..计算、大数据等新技术的发展,数据交换的应用也越来越广泛,例如基于API的数据交换、基于云服务的数据交换等。总之,数据集成的应用已经成为企业信息化建设的重要组成部分,不同的数据集成架构和应用场景需要选择不同的数据集成工具和技术来实现。未来随着新技术的不断涌现,数据集成的应用也将不断创新和发展。在国内,数据仓库是最常见的数据集成应用解决方案,而最复杂的应用则是数据交换。不论是简单还是复杂的应用,都以ETL技术为基础。ETL技术是数据集成的核心技术,伴随着它的还有数据连通、数据质量、数据清洗、数据联邦、实时数据等技术。为了提升数据集成的安全性、高效性和可扩展性,还需要SOA、HA、GRID等相关技术的支持。ETL(Extract、Transform、Load)是数据集成的最基础、最核心的三项技术。这三个执行步骤可以根据系统环境特点进行调整顺序,典型的应用有ELT的顺序。如源与目标为同种数据库或共用一个数据库时,可将数据从源直接抽取到目标然后再进行转换。XXX的ODI是一种专注于可编辑大有提升的产品,代表了这类特点的产品。:..良好的数据连通性是数据集成的水平体现。一般通用的关系型数据库、ODBC、XML等数据连通类型为常见类型。还有一些大中型企业常用的ERP、CRM、BPM、OA等应用软件为封闭式的系统,如SAP、Seibel、Lotus等系统的连通,因此良好的数据集成平台需要提供来自更多企业的数据连通接口,抽取源与装载目标的范围也就更广阔。数据质量越来越被企业重视,数据质量的技术范围也越发宽广,开始慢慢被剥离出数据集成的范畴。企业不能根据标准不统一、歧义、不正确的数据快速做出决策,只有站在高质量的数据基础之上做出的决策才不会发生方向偏倚。通常实现企业数据质量管理会包括源数据的探查、数据质量的评估、数据集成、数据的完整和数据的监控这五个步骤。数据的完整一般是指根据现有基础数据作其它数据项的扩展和丰富,如根据客户的联系方式来丰富客户的所属地区数据项、根据客户身份证号码来丰富客户的所属地区、年龄、性别等信息。数据实时技术对于实时数据仓库系统、数据同步等应用都会用到。一个系统的数据发生变化后,能即刻将变化的动作同步到另一个系统这就是数据实时技术的主旨。关系型数据库、:..AS4、MQSeries、ADABAS等系统都有自身的实时数据策略,如Oracle数据库的实时可以通过Trigger或LogMiner分析归档日志方式来实现。XXX提供多种数据集成产品,包括ETL工具、数据质量管理工具、数据实时处理工具等。这些工具可以帮助企业实现数据的快速、高效、准确地集成和处理,从而提高数据的价值和利用效率。数据集成是企业数据管理的重要组成部分,需要采用多种技术手段来实现。XXX在数据集成方面拥有丰富的经验和技术实力,可以为各行业的企业提供全方位的数据集成整体解决方案。这些解决方案包括数据集成咨询、数据集成平台和数据集成产品三大块,可以帮助企业实现数据的高效管理和利用,提升企业的核心竞争力。在数据集成咨询方面,XXX可以对企业的数据管理现状进行调研和分析,为企业提供数据标准定义和核心数据管理机制建议,设计适合企业长远发展的数据管理机构体系和工作管理流程,并对组织结构进行岗位职能设置。这些咨询服务可以:..帮助企业更好地管理和利用数据资源,提高企业的管理水平和效率。在数据集成平台方面,XXX提供了一套严谨的数据管理规范,建立了以企业数据统一存储模型为依托的数据集成平台,提供完备的数据存取、清洗、转换等处理功能,为企业各业务部门提供准确、单一的数据服务,并对数据服务各环节进行审批、监控、分析和管理。这些平台可以帮助企业实现数据的高效管理和利用,提高企业的数据价值和利用效率。除了数据集成咨询和数据集成平台,XXX还提供多种数据集成产品,包括ETL工具、数据质量管理工具、数据实时处理工具等。这些工具可以帮助企业实现数据的快速、高效、准确地集成和处理,从而提高数据的价值和利用效率。企业可以根据自身的需求选择相应的数据集成产品,实现数据的快速、高效、准确地管理和利用。