数据备份系统中数据去重技术应用研究.pdf

分类号学号 D200777580 学校代码 10487 密级博士学位论文数据备份系统中数据去重技术研究学位申请人: 谭玉娟学科专业: 计算机系统结构指导教师:冯丹教授答辩日期: 2012 年 5 月 19 日 ADissertation Submitted in Partial Fulfillment of the Requirements for the Degree of Doctor of Philosophy in Engineering Study on Data Deduplication Technique for Data Backup Systems Ph. D. Candidate : Tan Yuj uan Major : ComputerArchitecture Supervisor : Prof. Feng Dan Huazhong University of Science &Technology Wuhan, Hubei, 430074, May, 2012 独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到,本声明的法律结果由本人承担。学位论文作者签名: 日期: 年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定,即:学校有权保留并向国家有关部门或机构送交论文的复印件和电子版, 允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□,在_____ 年解密后适用本授权书。不保密□。(请在以上方框内打“√”) 学位论文作者签名: 指导教师签名: 日期: 年月日日期: 年月日本论文华中科技大学博士学位论文 I 摘要随着社会信息化的发展和数据量的暴增,数据备份系统中所要处理的备份和恢复的数据越来越多,数据去重技术已作为一种数据无损压缩技术广泛应用在数据备份系统中。不过,虽然数据去重技术能大幅度压缩数据量,提高存储空间和网络带宽利用率,但数据去重作为一门新兴的数据压缩技术,目前还面临着诸多问题和挑战。如在云备份服务中,现有的源端去重方法无法大幅度减少数据备份和恢复时间, 满足人们对备份服务的需求;另外,现有的数据去重方法由于需要删除多个文件之间共享的重复数据块,会导致备份系统中存储许多数据碎片,影响数据备份和去重性能。在云备份系统中,受低带宽广域网络的限制,数据备份速度非常慢。对于大部分用户来说,数据备份速度过慢将直接影响正常的业务运营。针对此问题,本文提出基于文件语义的多层次源端去重方法( Semantic-Aware Multi-Tiered Source De-duplication Framework, SAM ) ,减少数据备份时间。在 SAM 提出之前,现有云备份主要采用基于源端的全局数据块级去重和局部数据块级去重方法在客户端对重复数据进行删除,减少广域网络上传输的备份数据量。前者主要在全局范围内删除各用户之间产生的重复数据,所需要的数据去重时间较长;而后者虽然仅删除同一个用户所产生的重复数据,数据去重时间较短,但能获得重复数据删除率较低,需要较长的数据传输时间。经分析,这两种方法各有所长,但都无法大幅度减少数据备份时间, 缓解数据备份过程中遇到的数据传输瓶颈。 SAM 结合这两种方法的优势, 提出了将基于源端的全局文件级去重和局部数据块级去重进行结合的方法,同时在全局文件级和局部数据块级的去重过程中挖掘诸多文件语义信息,缩减重复数据的查找范围,加快重复数据的查找过程。经理论分析和试验数据分析,与现有的两种源端去重方法相比, SAM 能较好地权衡所获得的重复数据删除率以及所引入的去重时间开销,可以大幅度减少数据备份时间。不过,现有的源端去重方法,包括 SAM ,都仅关注云备份中的数据备份时间, 而对数据恢复时间的关注却很少。虽然这些源端去重方法都能好地满足大部分用户华中科技大学博士学位论文 II 的需求,但对可靠性要求很高的企业用来说,数据恢复时间至关重要。当数据受损时,数据恢复时间的长短直接关系到经济利益损失的多少。针对此问题,本文提出基于因果关系的数据去重方法( Causality-based Deduplica tion Performance Booster, CABdedupe ) , 不仅可以减少数据备份时间, 也可以减少数据恢复时间。经观察分析, 重复数据不仅存在于数据备份过程中,也存在于数据恢复过程中,且这些重复数据的