v11重复数据删除.pptx

V11 重复数据删除苟正洪内存数据库 3* 为什么使用内存数据库? ?提高重删性能?直接将重复数据删除记录写入到磁盘导致很多性能问题. ?降低 DDB 重建时间? V10 中内存中的 DDB 采用非日志模式,仅仅当重删引擎停止时才写入磁盘. ?重删引擎只有在备份和数据老化作业完成后才停止,或者 DDB 备份时才停止. ? SIDB2 进程非正常停止会导致磁盘库和 DDB 的状态不一致. ?磁盘库和 DDB hash 签名记录如有大的差异,会导致长时间的 DDB 重构. ?内存数据库是在不影响 DDB * 内存数据库如何工作? ?以事务处理模式运行 DDB ?在内存中创建 3个 DDB 表实例? MemDB 2 –活动( Active )–从备份流中接受连接? MemDB 1 –关闭( Closed )–空闲, 不再接受连接? MemDB 0 –合并( In Merge )–提交完成的 hash 签名到 DDB DiskDB ?每个 MemDB 实例包含 20 秒的 DDB 活动?查询时使用所有的 MemDB 和 DiskDB ,但写操作只涉及活动 MemDB ?第四个 DDB 表实例存在于 DDB 磁盘? DiskDB –从 MemDB 0(合并)接受完成的交易 5* Mem DB1 Mem DB0 MemDB 架构- 插入 Mem DB2 Merge MemDB In Merge Closed - Waiting For Merge Active Clean Up Process DDB Calls MemDB Levels Add / Update Records On-Disk DB (Transaction Enabled) 6* MemDB 架构–查询 Mem DB2 Mem DB1 Mem DB0 On-Disk DB (Transaction Enabled) In Merge Closed - Waiting For Merge Active DDB Calls Query Records MemDB Levels 7* MemDB 架构 DiskDB Instance MemDB Instances Active Closed In Merge Primary Table Secondary Table Files Zero Reference Table Unique signature, location on disk, and block counter Each file contains 16 archive file references Holds signature when primary table counter reaches zero Table Structure Primary Table Secondary Table Files 8* 内存数据库附加说明? V11SP2 时内存数据库是可配置的选项?可在 DDB 创建或封存后时启用,因为新的 DDB 是空的?使用独立工具将已经存在的 DDB 转换为内存数据库(即将实现) ?介质服务器需要至少 32GB 内存? DDB 必须放在固态硬盘?传统的 DDB 仍旧是默认的配置?内存数据库个数目前不能配置(默认 3个) ?研发认为 3个内存数据库实例从性能和健壮性来讲是最优配置 9* 内存数据库摘要?内存数据库是提升 DDB 性能的可配置选项?除了 DiskDB 外,内存数据库允许 3个 DDB 实例在内存中运行? DiskDB 以事务处理模式运行,提交变化到磁盘?插入操作, 20 秒的活动保存在每个 MemDB 实例中? MemDB 每 20 秒提交到 DiskDB 中?已经提交的 MemDB 实例内容被清除用作新的插入操作?查询操作, 所有 3个 MemDBs 和 DiskDB 都会被查询到?其他的内存数据库优势包括在某些场景下可缩短 DDB 重构时间增量重构