分布式存储与分布式数据访问层中间件研习阶段性报告.doc

--------------------------校验:_____________-----------------------日期:_____________分布式存储与分布式数据访问层中间件研****阶段性报告文件编号:YX_YF2_CRM-2 密级:保密分布式存储与分布式数据访问层中间件研****报告厦门雅迅网络股份有限公司2011年1月6日版本控制修订类型分为A-ADDEDM-MODIFIEDD–DELETED版本修订时间修订人修订类型修订章节修订内容2011-1-6柯志达创建全部所有章节的编写注:对该文件内容增加、删除或修改均需填写此记录,详细记载变更信息,以保证其可追溯性目录1文档介绍 5文档目的 5文档范围 5读者对象 5参考文档 5术语与缩写解释 52中间件技术 5中间件定义 5中间件分类 6远程过程调用中间件 6数据库中间件 7面向消息的中间件 7基于对象请求代理中间件 7事务处理监控中间件 8当前主要中间件技术平台 8的CORBA 9的J2EE 9 9新一代分布式技术WCF 10CORBA组件的开发步骤 103分布式存储 11概念 11非结构化数据存储 11半结构化数据存储 11诞生的原因 11优缺点 12数据模型 12理论 13具体分类 13结构化数据存储 144云计算平台分析 15云计算架构 15显示层 15中间件层 16基础设施层 16管理层 175分布式数据访问层 17什么是分布式数据访问层 17现有系统问题描述 18关键技术问题分析 19关于跨库关联查询(Join) 19关于分库方式 19关于跨库数据不一致性问题 19关于自增ID全局不唯一问题 19所有的数据操作必须预先知道目标分库 20技术架构 206淘宝的分布式数据访问层 211文档介绍本文档主要对中间件技术、分布式存储与分布式数据访问层开发等相关的技术问题进行深入分析,并形成分析文档指导项目具体开发实施。本文档的范围包括:中间件技术、分布式存储、云计算平台分析、分布式数据访问层、淘宝分布式数据访问层。预计读者如下:CRM项目组人员、部门其他同事、公司相关领导等。,分布式应用软件借助其在不同的技术之间共享资源。中间件就是位于操作系统和应用软件之间的一个软件层,它向各种应用软件提供服务,使不同的应用进程能在屏蔽掉平台差异的情况下,通过网络互相通信。,针对不同的应用需求涌现出多种各具特色的中间件产品。但至今中间件还没有一个比较精确的定义,因此,在不同的角度或不同的层次上,对中间件的分类也会有所不同。由于中间件需要屏蔽分布环境中异构的操作系统和网络协议,它必须能够提供分布环境下的通讯服务,我们将这种通讯服务称之为平台。基于目的和实现机制的不同,我们将平台分为以下主要几类: 它们可向上提供不同形式的通讯服务,包括同步、排队、订阅发布、广播等等,在这些基本的通讯平台之上,可构筑各种框架,为应用程序提供不同领域内的服务,如事务处理监控器、分布数据访问、对象事务管理器OTM等。平台为上层应用屏蔽了异构平台的差异,而其上的框架又定义了相应领域内的应用的系统结构、标准的服务组件等,用户只需告诉框架所关心的事件,然后提供处理这些事件的代码。当事件发生时,框架则会调用用户的代码。用户代码不用调用框架,用户程序也不必关心框架结构、执行流程、对系统级API的调用等,所有这些由框架负责完成。因此,基于中间件开发的应用具有良好的可扩充性、易管理性、高可用性和可移植性。远程过程调用中间件、数据库中间件、消息中间件、基于对象请求代理的中间件、事务处理中间件。2远程过程调用中间件 远程过程调用是一种广泛使用的分布式应用程序处理方法。一个应用程序使用RPC来“远程”执行一个位于不同地址空间里的过程,并且从效果上看和执行本地调用相同。事实上,一个RPC应用分为两个部分:server和client。server提供一个或多个远程过程;client向server发出远程调用。server和client可以位于同一台计算机,也可以位于不同的计算机,甚至运行在不同的操作系统之上。它们通过网络进行通讯。相应的stub和运行支持提供数据转换和通讯服务,从而屏蔽不同的操作系统和网络协议。在这里RPC通讯是同步的。采用线程可以进行异步调用。2数据库中间件 数据库中间件:支持对数据库存取的编程,可以使用存储过程。如:ODBC,JDBC。2面向消息的中间件 MOM指的是利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可在分布环境下扩展进程间的通信,并支持多通讯协议、语言、应用程序、硬件和软件平台。目前流行的MOM中间件产品有IBM