对象存储系统中数据通道的设计与实现.pdf

华中科技大学
硕士学位论文
对象存储系统中数据通道的设计与实现
姓名:张伟
申请学位级别:硕士
专业:计算机系统结构
指导教师:王芳
20080605
华中科技大学硕士学位论文
摘要*
随着数字信息的爆炸式增长和应用需求的不断提高,传统的网络存储系统在容
量、性能、可扩展性、安全性、服务质量等方面面临着巨大挑战,对象存储技术采
用全新的对象接口,被认为是下一代网络存储技术的标准。设计高效的对象存储系
统,使其能充分发挥对象存储技术的优势,以满足日益增长的海量数据存储需求已
成为新的研究热点。对象存储系统由元数据服务器、对象存储设备、客户端文件系
统和互连网络四部分组成。
对象存储系统中客户端文件系统和对象存储设备之间的通信所经由的数据通道
是影响整个系统性能的关键之一,其包括二者之间通信所采用的传输协议及其内部
采用的缓冲策略。通过研究原有对象系统 HOSS 关键部分的运行机制,采用更细粒
度的缓冲策略和开源的 UNH iSCSI 协议传输模块对 HOSS 系统中的数据通道及缓冲
层进行重新设计与实现。
通过与对象存储系统 HOSS 改进前后的读/写性能对比的结果表明,改进后的系
统写性能在文件大小为 512K 时提高最大,提高了 倍;读性能在文件大小为 256M
时提高最大,提高了 85%。通过测试还分析了包长度和 OSD 数量对系统读写性能的
影响。另外还提出了相关算法和思想用于解决 HOSS 系统存在的缓存一致性问题。

关键词:对象存储,互联网小型计算机系统接口、缓冲策略,缓存一致性

*
本文的研究工作受国家重点基础研究发展计划(973 计划)资助项目(2004CB318201),湖北省自然
科学基金资助项目武汉市科技计划(20061002031, 200750730307) 资助
I
华中科技大学硕士学位论文
Abstract*
With explosive growth of the digital information and continuous improvement of
application requirements, the work storage systems face a huge challenge in
capacity, performance, scalability, security, quality of service and so. Object Storage
Technology ,which uses a new interface objects, is considered as the next generation
network storage technology standards. It has e a new hotspot that how to design an
efficient Object Storage Technology systems ,which can give full play to the advantages of
object storage technology to meet the growing needs of the mass data storage. The Object
Storage Technology systems is formed by four parts: MDS ,OSD, Client and the .
In the Object Storage Systems, the data channel, where munications between
the file system of Client and OSD go through, is one of the keys which affects the whole
system performance, which including the transmission protocol used by the
communications between the two and the buffer strategy of internal use. After researching
operating mechanism of key part of HOSS, we use a smaller granularity of buffer
strategy and revenue UNH iSCSI protocol modules to re-