分布式数据库中间件server层的设计与实现-软件工程专业毕业论文.docx

Classified Index: TP311 :
Dissertation for the Master’s Degree in Engineering
THE DESIGN AND IMPLEMENTATION OF DISTRIBUTED DATABASE MIDDLEWARE SERVER LAYER
Candidate: Su Fangwen
Supervisor: Professor Huang Hujie
Associate Supervisor: Engineer He Zhenxing Academic Degree Applied for: Master of Engineering Speciality: Software Engineering
Affiliation: School of Software
Date of Defence: June, 2014
Degree-Conferring-Institution: Harbin Institute of Technology
摘 要
随着网络不断发展,新的互联网应用不断涌现,用户数量越来越大,远远超出了人们的想象。并且大型网站与应用需要 7*24 小时不间断服务,数据库在处理海量数据和并发数面临着巨大挑战,如果处理不好会造成很严重后果。在这种局面下,不断提高单个数据库性能花费越来越高,让运营者负担加大。在此背景下,数据库集群技术为人们所需要。
本文介绍了一个分布式数据库中间件 server 层的设计与实现。首先,根据系统的应用场景和需求定义确定技术方案,使用数据的水平切分应对海量数据下集群的处理速度,使用连接池对连接进行整合达到连接复用,同时支持分布式事务,保证事务的原子性、隔离性、持久性、一致性,采用数据空间、数据源、数据服务器的三层结构,来保证在后端 server 出现问题时可以及时切换到备机上继续提供服务的高可用,支持对不同语句的读写分离与负载平衡来进一步提高系统的整体性能。
然后根据需求定义将系统划分为选项控制器模块、连接池管理模块、后端管理模块、用户请求处理模块与执行计划构建模块。选项控制模块保证系统各个参数可配置,用户可以通过配置文件对系统功能进行裁剪,来达到应用需要的功能。连接池管理模块对后端连接进行管理,连接会根据集群当前负载情况进行动态创建与清理,保证对资源的合理利用。后端管理模块对整个集群进行初始化,为数据空间、数据源、数据服务器提供支持。用户请求处理模块对用户进行身份认证,对用户的数据请求进行优化处理,包括读写分离与负载平衡, 在保证功能的前提下提供高性能服务。执行计划构建模块对用户请求进行构建执行计划并执行,与后端 server 进行数据交互,同时返回数据给用户。
最后,进行模块测试和系统测试,对系统各个模块进行功能测试,对整个
系统性能测试。测试结果表明各模块满足需求定义的要求,系统响应速度和运行效果满足设计目标。
关键词:数据库;中间件;分布式;选项控制;水平切分
I -
Abstract
With the continuous development of work, various new technique and new business spring up unceasingly, the number of users is growing far beyond people's imagination. And large sites and applications require uninterrupted service 7 * 24 hours, the database processing huge amounts of data and the number of concurrent faces enormous challenges. It will cause very serious consequences if not handled properly. In such a situation, and constantly improve the performance of a single database to spend more and more, so that the burden on operators to increase. In this context, database clustering technology is required for people.
This paper describes the design and implementation of a distribute