分布式小数据存储系统的设计与实现-计算机系统结构专业毕业论文.docx

独创性声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。
签名: 日期: 年 月 日
论文使用授权
本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定,有权保留并向国家有关部门或机构送交论文的复印件和磁盘, 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。
(保密的学位论文在解密后应遵守此规定) 签名: 导师签名:
日期: 年 月 日
摘 要
随着互联网的高速发展与全球网民数的激增,网络服务的数据量以指数增长。如何提高对海量数据的存储管理与访问能力,成为了业界研究的一个热点问题。在海量数据面前,传统的关系型数据库模型因缺乏系统的高可扩展性,而逐渐被放弃。继而涌现出了许多非关系型的分布式数据存储系统。这些系统更多的是从分布式架构上出发提高系统可扩展性以及数据存储和访问能力,而忽略了数据的底层数据存储结构在提高数据 IO 效率上的作用,也忽略了小数据读写可能引发的磁盘磁头频繁移动的问题。
本文首先介绍了研究动机,然后对当前主流的分布式存储系统与 P2P 系统进行了分析与学****并结合小数据存储的特点,设计了一个具备高可靠性、高可扩展性的分布式小数据键值存储系统 MSDSS。本文的主要工作与创新点有以下几点:
第一借助改进型的一致性哈希算法与虚节点技术构建了一个具备高可扩展性的键值存储系统架构。这种架构保证了数据在系统中的分散存储,并解决了存储节点的异构性问题。
第二使用定位表的方法,实现同一集合中数据在物理上分段聚集存储,为该集合中数据提供了高速的数据浏览支持。
第三使用数据混写技术,在存储服务器上,采用写缓存策略,将缓存的小数据集中混写到一个临时文件,以提高整个系统的服务能力。
第四使用 chubby 技术,监控系统中服务器的在线情况。当系统中服务器上下线时,其他服务器可以较快获得通知,提高了系统的可扩展性。
第五使用了 merkle tree 技术,高效检测系统中副本数据的一致性,降低了网络中系统控制信息的流量。
最后简化实现了 MSDSS,并在功能与性能上对系统进行了测试。测试结果表明,在面对大量数据请求时,数据混写可以在数量级上降低用户修改数据的响应时间;数据聚集存储可以在数量级上降低用户浏览集合内数据的响应时间。
关键词:键值存储,分布式,一致性哈希,小数据
I
ABSTRACT
With the rapid development of and the growing number citizens, network data are exponentially increasing. How to improve the massive data management and access capacity has e a hot issue. In face of massive data, the traditional relational database system, due to its lack of scalability, lose its brightness. Then a number of non-relational distributed data storage systems appear. These systems pay more attention to the effect of distributed system architecture upon their scalability, data storage and access capacity, while ignoring the effect of their underlying data storage structure and the problem of frequent movement of hard-disk probe caused by accessing small data.
The researching motivation is described firstly in this thesis. Then, the analysis on mainstream distributed storage systems and P2P systems is intr