数据备份系统中数据去重技术研究.pdf

分类号学号 D200777580
学校代码 10487 密级
博士学位论文
数据备份系统中数据去重技术研究
学位申请人:谭玉娟
学科专业:计算机系统结构
指导教师:冯丹教授
答辩日期: 2012 年 5 月 19 日
A Dissertation Submitted in Partial Fulfillment of the Requirements for
the Degree of Doctor of Philosophy in Engineering
Study on Data Deduplication Technique for Data
Backup Systems
Ph. D. Candidate : Tan Yujuan
Major : Computer Architecture
Supervisor : Prof. Feng Dan
Huazhong University of Science & Technology
Wuhan, Hubei, 430074,
May, 2012
独创性声明
本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研
究成果。尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或
集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体,均已在
文中以明确方式标明。本人完全意识到,本声明的法律结果由本人承担。
学位论文作者签名:
日期: 年月日
学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定,即:学校有权
保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。
本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检
索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
保密□,在_____年解密后适用本授权书。
本论文
不保密□。
(请在以上方框内打“√”)
学位论文作者签名: 指导教师签名:
日期: 年月日日期: 年月日
华中科技大学博士学位论文
摘要
随着社会信息化的发展和数据量的暴增,数据备份系统中所要处理的备份和恢
复的数据越来越多,数据去重技术已作为一种数据无损压缩技术广泛应用在数据备
份系统中。不过,虽然数据去重技术能大幅度压缩数据量,提高存储空间和网络带
宽利用率,但数据去重作为一门新兴的数据压缩技术,目前还面临着诸多问题和挑
战。如在云备份服务中,现有的源端去重方法无法大幅度减少数据备份和恢复时间,
满足人们对备份服务的需求;另外,现有的数据去重方法由于需要删除多个文件之
间共享的重复数据块,会导致备份系统中存储许多数据碎片,影响数据备份和去重
性能。
在云备份系统中,受低带宽广域网络的限制,数据备份速度非常慢。对于大部
分用户来说,数据备份速度过慢将直接影响正常的业务运营。针对此问题,本文提
出基于文件语义的多层次源端去重方法(Semantic-Aware Multi-Tiered Source
De-duplication Framework, SAM),减少数据备份时间。在 SAM 提出之前,现有云
备份主要采用基于源端的全局数据块级去重和局部数据块级去重方法在客户端对重
复数据进行删除,减少广域网络上传输的备份数据量。前者主要在全局范围内删除
各用户之间产生的重复数据,所需要的数据去重时间较长;而后者虽然仅删除同一
个用户所产生的重复数据,数据去重时间较短,但能获得重复数据删除率较低,需
要较长的数据传输时间。经分析,这两种方法各有所长,但都无法大幅度减少数据
备份时间,缓解数据备份过程中遇到的数据传输瓶颈。SAM 结合这两种方法的优势,
提出了将基于源端的全局文件级去重和局部数据块级去重进行结合的方法,同时在
全局文件级和局部数据块级的去重过程中挖掘诸多文件语义信息,缩减重复数据的
查找范围,加快重复数据的查找过程。经理论分析和试验数据分析,与现有的两种
源端去重方法相比,SAM 能较好地权衡所获得的重复数据删除率以及所引入的去重
时间开销,可以大幅度减少数据备份时间。
不过,现有的源端去重方法,包括 SAM,都仅关注云备份中的数据备份时间,
而对数据恢复时间的关注却很少。虽然这些源端去重方法都能好地满足大部分用户
I
华中科技大学博士学位论文
的需求,但对可靠性要求很高的企业用来说,数据恢复时间至关重要。当数据受损
时,数据恢复时间的长短直接关系到经济利益损失的多少。针对此问题,本文提出
基于因果关系的数据去重方法(Causality-b