数据去重与垃圾数据删除策略的设计与实现.pdf

注 1:注明《国际十进分类法 UDC》的类号。





THE DESIGN AND IMPLEMENTATION OF
DATA DEDUPLICATION WITH GARBAGE DATA
REMOVAL POLICY






A Master Thesis Submitted to
University of Electronic Science and Technology of China






Major: Computer Software and Theory
Author: Fengyu
Advisor: Lilin
School : Computer Science and Engineering
独创性声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工
作及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地
方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含
为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。
与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明
确的说明并表示谢意。
作者签名: 日期:年月日

论文使用授权
本学位论文作者完全了解电子科技大学有关保留、使用学位论文
的规定,有权保留并向国家有关部门或机构送交论文的复印件和磁
盘,允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文
的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或
扫描等复制手段保存、汇编学位论文。
(保密的学位论文在解密后应遵守此规定)
作者签名: 导师签名:
日期:年月日
摘要
摘要
伴随着我国下一代无线移动网络的进程,支撑各种各样电信业务的移动控制
网络对底层的存储系统的支持提出了更高的要求。如今日益增加的用户数量和数
据流量已经让传统的存储方案显得捉襟见肘。随着这种趋势的到来,如何有效的
利用存储空间成为亟待解决的问题。
本文首先对国内外主流的几个分布式存储系统进行介绍和分析,并分析分布
式系统需要面对的问题和解决方案。在此基础上设计并实现了面向海量用户和海
量文件、基于数据块级别数据去重的分布式文件系统 CStore,本文主要设计并实
现了基于 CStore 系统的数据回收系统。
CStore 系统是典型的分布式存储系统,它采用元数据和数据流分离的设计方
案,将系统的元数据和文件数据分别存储在不同的集群中,客户端分别访问这些
数据关于它们各自的管理和优化。系统的资源定位基于一种两级的哈希映射方案,
以桶为单位的负载均衡和副本策略提高系统的可靠性,同时使得系统具有很好的
可扩展性。
数据去重是 CStore 系统的主要特点之一,它采用在线的基于数据块级别的重
复数据删除策略,这就要求用户在上传文件的时候将整个文件划分成多个数据块,
然后分别上传。这样的策略可以节约大量的数据存储空间,提高用户体验,但是
同样带来了数据删除的难题。在 CStore 数据去重的总体架构的基础上,设计并实
现了能够以在线或者离线方式执行无效数据删除的垃圾数据删除系统,可以高效
并且准确的判断无效数据,进一步节省存储资源。
垃圾数据回收系统用于清理系统中没有任何文件引用的无效数据块。该系统
基于 Bloom Filter 算法,在元数据服务器集群数据服务器集群上分别进行相应的
操作,由一个中心控制节点负责全局的监控。在容错方面,通过与中心节点建立
的心跳连接可以有效得检测到失效的节点,进而进行任务的重新分发,并且该系
统为管理员提供了可视化界面,方便管理员控制与管理。
本文最后对垃圾数据回收系统的功能和性能进行了测试,证明了它可以正确
执行所需功能并保证了其可靠性和准确性。

关键字:分布式存储系统,重复数据删除,无效数据回收,布隆过滤器
I
ABSTRACT
ABSTRACT
Along with the next generation of wireless works process in China, the
underlying work storage systems that support a wide range of mobile
munication services has been put forward higher requirements. Today, the
increasing number of users and data traffic has ma