simpanav重复数据删除.pptx

重复数据删除方案2013年7月2目录2方案设计及最佳实践Simpana 10 mVault 重复数据删除技术3为什么要进行重复数据删除3在服务器应用中有大量完全相同的数据块不同计算机中,有许多完全相同的文件,特别在虚拟机中有80%以上重复数据。在连续的全备份数据中,有70%-90%的重复数据在归档文件中,也有大量的数据块是相同的当进行集中数据备份和归档时,重复的数据块会导致存储费用快速上升,同时也会占用数据传输带宽。如何进行重复数据删除4原数据集合逻辑视图物理存储重复数据删除节省大量磁盘空间!对需要存储的数据,以块为单位进行哈希比对,对已经存储的数据块不再进行存储,只是用索引来记录该数据块;对没有存储的新数据块,进行物理存储,再用索引记录,这样相同的数据块物理上只存储一次。通过索引,可以看到完整的数据逻辑视图,而实际上物理存储的数据却很少。重复数据删除的过程源端“去重”5?当数据从“源端”传输到“目标端”的过程中,在源端先对被传输的数据块进行哈希比对,如果该数据块先前已经被传输过,只需要传输哈希索引值;如果该数据块先前没有被传输过,就传输该数据块,并记录该数据块的哈希值。?优点:可节约传输带宽?缺点:要占用源端资源进行去重处理源端目标端传送的是新数据块和老数据块的索引目标端“去重”6?当数据从“源端”传输到“目标端”的过程中,把数据块传送到目标端,在目标端进行去重操作。?优点:不占用源端的资源?缺点:不能节省传输带宽?在目标端有两种处理方式:?在线处理方式(In-Line):在数据块存储之前进行去重处理,优点是占用存储空间较少,缺点是要影响数据传输性能。?后处理方式(Post-Processing):先把数据块存储在缓存中,等系统空闲时再进行去重处理。优点是不影响数据传输性能,缺点是需要额外的存储空间。mVault同时支持源端和目标端去重;支持在线处理方式,也支持后处理方式(先备份到非去重拷贝,再辅助拷贝启用去重)源端目标端传送的都是数据块压缩与去重7?数据压缩?针对单个文件?采用空值压缩或缩短高频数据表示值来缩小数据?15-20% CPU 开销?去重的补充手段?重复数据删除?跨文件消除冗余的重复数据块?每个相同的数据块只存储一次,后续的块以指针指向之前的物理数据块?“去重比”= (数据量) / (在磁盘上占用的空间). 不是最主要需要考虑的因素压缩和重复数据删除都属于数据缩减技术metadataFile data stream pressed跨文件、备份集跨客户端、备份代理Week1Week2Week3目录8方案设计及最佳实践Simpana 10 mVault 重复数据删除技术99*支持源端和目标端去重--可在客户端或MA端进行压缩/哈希对比/加密?读取数据?压缩*?哈希比对*?加密*1?与MA连接的本地磁盘?IP共享NAS,多个MA之间可进行错误却换和负载均衡?SAN共享磁盘存储开放的磁盘库Client Systems向MA传送数据存储策略:全局存储保留?支持备份和归档数据主副本: 存储在磁盘上,保留#天和周期?检查DDB?对数据段编目?数据写入磁盘2MA?直接访问恢复?不需要读哈希表?支持GridStor备用访问路径4具有内容感知的数据块传输Content AlignmentSegment –instance (hash)Content AlignmentContent AlignmentMeta-data, tags, indexesImagesDatabasesFilesSkipSkipSkip2ndLinknthLinkMA?相同的数据段越多= 去重比越高?通过增加访问路径就能方便增加容量?介质库报告和报警简化管理操作?磁盘阀值管理策略控制数据老化(最少使用的老化)31stWriteCV 目录(索引)DDB检查DDB,确保数据段的唯一性数据段映射到磁盘上的备份/归档数据块Archive File / Offsets写入到磁盘仅写入新的数据段Mount path(s)DASH COPYDDB?优化复制,创建容灾副本?mVault重复数据删除构架SSDBCheck-Level 1 (optional)客户端使用本地去重缓存SSDB判断数据块的唯一性Check-Level 2使用MA的DDB查找去重索引10DDB(重复数据删除数据库,DeduplicationDataBase)10?重复数据删除数据库存放着所有的数据块的hash签名,每一个存储策略拷贝都已一个自己的DDB。全局重复数据删除存储策略关联多个存储策略,共用一个相同的DDB?每一个DDB定义了一个独立的去重域?DDB 采用C-Tree数据库,