分布式内存数据库存储研究.doc

华中科技大学
硕士学位论文
分布式内存数据库存储研究
姓名:全中伟
申请学位级别:硕士
专业:通信与信息系统
指导教师:余鑫
2011-01
华中科技大学硕士学位论文
摘要
近年来,国内外对智能电网的研究大力推进了电网的信息化进程。随着电网系统
对信息技术应用的不断深化,电网系统对于数据库的存储能力及实时性要求逐渐提
高,因此比传统磁盘数据库拥有更高性能的内存数据库得到了广泛的应用。但由于
内存容量的限制,内存数据库往往以前端缓存的角色出现在电网系统中,用以缓解
传统磁盘数据库的性能瓶颈。
随着智能电网的兴起,相对于传统电网,数据的交互更加频繁,数据量更加庞大,
这就需要数据平台拥有更大的数据容量以及更高的数据并发性。一方面意味着传统
电网系统中的内存数据库将要承担更多的业务数据与业务应用,另一方面也对内存
数据库提出了新的要求与挑战。
通过结合电网的特点以及智能电网的发展趋势,设计实现了基于分布式内存文件
系统的分布式内存数据库系统。用以解决集中式内存数据库在容量以及并发性等问
题上的不足。系统分为两层结构,下层为分布式内存文件系统,为上层提供透明的
内存文件操作服务,负责将文件分块存储于分布式系统中的各个节点并映射到响应
节点的进程空间中以供操作,并保证系统中各个节点的负载均衡与数据一致性,同
时提供动态的节点增减功能;上层为分布式内存数据库管理系统,通过调用下层的
文件服务来存储关系数据,并根据需求对这些关系数据分别建立全局索引与局部索
引以供快速的查询。两层系统采用松耦合的架构,各自负责独立的功能并进行优化。
通过测试结果可以看出,在单节点的情况下,系统的TPS(每秒执行事务量
Transaction Per Second)接近商用内存数据库;在系统中每增加一个节点,可以为整
倍的单节点并发量(线性增长);在有节点加入或离开系统时,
各节点的负载可以较快速的趋于平衡。
关键词:分布式内存数据库;分布式内存文件系统;分布式存储;负载均衡;扩展
性
I
华中科技大学硕士学位论文
Abstract
In recent years, the domestic and international researches on the Smart Grid
vigorously promote the process of Grid information. With the deepening of the
information technology on the Grid system, the power grid system requires more storage
capacity and real- time ability on the database system, so the main memory database which
has more powerful performance than the traditional disk database has been widely used in
the power grid system. However, due to the limited main memory capacity, main memory
database always appears as the role of cache system in the power grid system to alleviate
the performance bottleneck of the traditional disk database.
With the rise of the Smart Grid, compared to the traditional power grid system, the
data interaction is more and more frequent and the amount of data is larger and larger. This
requires the data platform of the Smart Grid should have greater data capacity and higher
data concurrency. On the one hand means that the main memory database in the traditional
grid system should be charge with more business data and business appli