浅谈数据备份系统中的数据去重技术.pdf

消费电子
2012 年 11 月下 Consumer Electronics Magazine 计算机科学
浅谈数据备份系统絆中的数据去重技术
朱琦
(吉林工展商学院信息工展程分院,长春 130062)
摘要:本文讨论了目皢前数据懢备份系统絆中的皀几种数据懢去重邩技慫术,并岎分析了去重邩技慫术将寍面临的皀挑憹战愹,以期对密数据懢去
重邩技慫术做一个总结紻和展寴望。⃪
关键词:数据懢备份;数据懢去重邩;数据懢碎眵片;去重邩技慫术
中图分类号: 文献标识码眀: A 文章编絸号: 1674-7712 (2012) 18-0043-01

一、数据去重技术外的存储空间做缓冲区。⃞
(一)全局去重和和局部去重技术术。⃞可分为全局去重和和局部目前前,数数据备份系统一般都使用在线去重技术术,因为当前前
去重技术术。⃞全局去重主要应用在有多个去重设备的环环境里,它的数数据备份系统都不是实时时应用系统,对存储的性能要求也不
会对多个已去重的库、⃝目标标和和站点进行数数据的比对,然后对重高。⃞如如果果是实时时关键应用或对存储系统存储性能要求很高,离
复数数据进行删除。⃞它可以删除多节点间的冗余数数据。⃞使用全局线去重技术术更合适。⃞
去重后,如如果果数数据从第一个节点传递到到第二个节点,那么第一(四)源端去重和和目标标端去重技术术。⃞依据重复数数据的删除
个节点存储过的数数据,第二个节点将不再存储。⃞地点,数数据去重可以分为源端去重技术术和和目标标端去重技术术。⃞
局部去重则不考虑多个节点间的冗余数数据,它仅删除同一源端去重技术术即在数数据的发送端,一般指客户端,对数数据
台机机器、⃝同一个客户端、⃝或同一个存储节点上的冗余数数据。⃞进行查查找并删除重复的数数据。⃞这种去重技术术非常适合广域网宽
这两种去重方方式,全局去重的压缩率率要比局部去重的压缩率率带较低的网络环环境下的备份系统,由于重复的数数据不参与传输
高,因为全局去重比局部去重所删除掉的重复数数据要多;但是局和和运输,它可以减少传输的数数据量,加加快数数据传输。⃞但由于源
部去重的开销要比全局去重的开销少,因为全局去重需要对多个端去重需要现现在发送端进行查查找和和删除重复数数据,所以会占用
存储节点上的数数据进行查查询,删除多个节点之间存在的重复数数源端机机器资资源,进而影响响源端机机器的应用性能。⃞
据,其带来来的开销也会比局部去重大很多。⃞也正是因为这一点, 目标标端去重即在数数据的接收收端、⃝存储端,查查找并删除重复
很多公司,实现现的全局去重所关注的存储节点数数也非常有限的。⃞的数数据。⃞由于目标标端去重只需要在目标标端,即服务务器端对重复
(二)文文件级和和数数据块级(字节级)去重技术术。⃞根据重复数数据进行查查找和和删除,不需要源端进行任何去重处理理。⃞因此在
数数据的鉴别粒度,数数据去重可分为文文件级的去重技术术(单实例数数据传输带宽较高的情况下,目标标端去重更占优势势。⃞
存储技术术)和和数数据块级(字节级)去重技术术。⃞二、数据去重技术面临的挑战
文文件级的重复数数据去重技术术使用哈哈希函数数计算每个文文件(一)数数据去重的可扩展性尚待提高。⃞随着数数据量的不断断
内容的哈哈希值,然后根据