云存储中快速安全的数据去重方法.doc

云存储中快速安全的数据去重方法.doc云存储中快速安全的数据去重方法
-->第 1 章绪论
研究背景
网络信息技术等计算机新兴科技不但促进了国民经济各个领域的蓬勃发展,同时也推进了相应软硬件系统全面步入信息化、智能化时代。随着这些技术逐渐融入到社会生活中的各个角落里,大数据时代在全球数字化浪潮带来的海量信息数据逐渐推动下也越来越清晰地步入全球的视野。据 IDC 研究指出[1],2006 年个人用户数据已经进入 TB 级的时代,从 2006 年到 2010 年,数据每年以 57%的速度持续增长,2011 年,全球的数据量已经进入以 ZB 为单位的时代,。IDC调查称,2020年全球数据总量甚至将会超过40ZB,大数据时代越来越清晰,同时其数据种类多(Variety),数据量大(Volume),价值密度低(Value),处理速度快(Velocity)的四大特性也逐渐被大家所熟知[2]。
...............
课题研究内容
当前各企业厂商和研究机构为了能节省磁盘等硬件成本开销同时又能提高存储空间的利用率提出了重复数据删除技术的概念。重复删除技术实质上是一种有效的数据压缩技术,用来删除存储系统中存在的大量冗余数据,以降低磁盘 I/O开销,提高系统资源利用率。目前国内外很多研究组织和企业都在对其进行研究,并且取得了非常明显的成果,LBFS[7]是一种由麻省理工学院开发的网络文件系统,其目标在于降低数据传输对带宽的占用,在传输之前判断数据块是否已经在于目标服务器上,如果已经存在则无需重复发送数据块。此外,LBFS 使用 SHA1 值的前 64 位作数据块指纹索引,是有一定指纹冲突的可能;Venti 系统[8]是美国贝尔实验室设计和研发的用于数据归档的网络存储系统,但它绑定到 Plan9 操作系统上,因此不能用于诸如 Linux,WindoeNode 和 DataNode 进程,其余两个节点只存在 DataNode 进程,每台机器的配置如表 所示。本文采用 Rabin 指纹算法对每一个待处理的文件进行按内容分块,且设定数据块的平均大小为 4KB。除此之外,设定数据块大小最小为 2K,最大为 64KB,。对于重复的文件无需再次上传,而在对非重复 SSH 文件进行分块之前,先确定文件的大小,对于小于 2K 的小文件不做分块处理,而是将整个文件作为一个块处理,这样可以减少对这些小文件进行数据分块过程的时间开销。而对于文件指纹以及数据块指纹的计算都采用 SHA3 哈希算法。
...............
实验结果与分析
在比较数据集所需的存储空间时,使用三种方法:无去重措施、在线 EB 检测,本文的客户-服务端双重检测,分别用 No-Dedup、EB-Dedup 和 CS-Dedup 表示。图 和图 所示为采用不同方法时,Dataset I 和 Dataset II 所占的存储空间比较。可以看出:采用任意一种去重处理后,数据集所占的存储空间明显减少,尤其在数据量增大时,存储空间利用率大大提高;而且 CS-Dedup 相比EB-Dedup 能够节省更多的存储空间,因为 CS-