分布式数据库中间件驱动模块的设计与实现-软件工程专业毕业论文.docx

Classified Index: TP311 .:
Dissertation for the Master‟s Degree in Engineering
DESIGN AND IMPLEMENTATION OF DRIVER MODULE FOR DISTRIBUTED DATABASE MIDDLEWARE
Candidate: Qiao Hongyu
Supervisor: Associate Prof. Chen Yin
Associate Supervisor: Senior Engineer He Zhenxing Academic Degree Applied for: Master of Engineering Speciality: Software Engineering
Affiliation: School of Software
Date of Defence: June, 2014
Degree-Conferring-Institution: Harbin Institute of Technology
摘 要
随着信息技术的发展,人们对于数据的存储与检索的观念发生了巨大的变化。人们更倾向于将个人数据保存到互联网中,比如社交网络等。现在,越来越多的数据也都从个人的硬盘转移到了互联网上。当数据量到达一定规模后, 这些数据就被称为海量数据。现如今,数据库的发展速度已经明显慢于数据的增长速度。为了能够快速且稳定地管理这些数据,我们就需要使用分布式数据库。
分布式数据库将数据分散到不同的数据存储服务器中。当上层应用对数据进行操作时,中间件会根据数据的分布规则去对应的数据存储服务器上获取数据,从而减少平均每台服务器的并发数,进而在整体上提高数据库的性能。分布式数据库中间件严格遵循 MySQL 的通信协议和 SQL 标准,同时它还处在应用层和数据库集群的中间,通过截获客户端发往服务器的数据,并对 SQL 或者其他请求进行分析、重构和转发,将语句发往对应的 MySQL 数据库实例;再从相应的数据库获取信息,转发至对应的客户端。通过该中间件可以方便地对后端数据库集群进行不同层次分布式部署。这样,分布式数据库就有了传统关系型数据库的特点,也有分布式数据库的优点。
本文主要描述分布式数据库中间件驱动模块的设计与实现。驱动模块包含三部分内容:数据通信、集群管理和执行计划构建。数据通信功能主要使用 ACE 自适配通信环境(munication Environment)进行开发,用来实现中间件与客户端应用、中间件与 MySQL 服务器的数据通信,同时还能对部分常用的 MySQL 数据包进行解析。
集群管理的主要功能有对数据库集群状态的监控;实现数据库集群读写分离、负载均衡、故障切换和回切;对数据库集群进行逻辑划分,实现数据库分片。读写分离和负载均衡可以有效地缓解高并发带来的性能损耗。故障切换和回切功能给集群提高了可靠性。集群采用双机互备、一主多从的解决方案,这样可以避免由于单点故障导致整个集群不可用的问题。
执行计划构建主要是设计和实现了数据导入语句 LOAD DATA INFILE、排序查询语句 SELECT ORDER BY LIMIT 和数据定义语言 DDL(Data Definition Language)。在实现执行计划过程中,使用了大量的优化方案和排序算法,从而提高了语句执行的性能。
最后,对需求中提出的全部功能进行了测试。同时,还对分布式数据库中
I -
间件驱动模块的数据导入语句和排序查询语句进行了性能测试,以保证在实现过程中没有执行效率和性能的回落。测试通过后驱动模块已经可以交付使用, 并且成为了整个分布式数据库中间件的重要组成部分。
关键字: 分布式数据库;中间件;集群管理;执行计划构建
II -
Abstract
With the development of the information technology, People have changed their attitude a lot on data storage and retrieval. People prefer to keep the data in the , such as work Service. And now, more and more data are stored into the instead of personal hard disk. When there are a lot of data, we call them the big data. Today, the development of the database has bee