分布式并行文件系统锁管理的研究与设计.pdf

华中科技大学
硕士学位论文
分布式并行文件系统锁管理的研究与设计
姓名:赵旺
申请学位级别:硕士
专业:计算机系统结构
指导教师:曹强
20070131
摘要∗
分布式文件系统自上世纪 70 年代出现以来,经过 30 多年的发展,已经逐渐趋向
成熟,在数据处理、信息服务、商业系统、教育科研等各个领域都有广泛的应用。分
布式并行文件系统(DPFS,Distributed Parallel File System)是分布式文件系统的一个
重要分支,也是未来分布式文件系统发展的主要方向之一。DPFS 通过多种先进技术,
发掘系统潜在的物理并行度,改善系统逻辑并行能力,从而为前台应用提供高达 GB
甚至 TB 级的存储带宽。
分布式锁管理(DLM,Distributed Lock Management)是分布式文件系统的核心
部分,是保证系统正确运行和数据一致性的关键所在。由于 DPFS 强调通过并行 I/O
提高 I/O 带宽,DLM 在 DPFS 中显得尤为重要。在对分布式并行文件系统和分布式锁
管理技术进行广泛调研和深入研究的基础上,设计了适用于 DPFS 的分布式锁管理系
统。采用分布式的 C/S 架构,完全避免使用全局锁管理节点;多种锁处理策略的设计
为各种不同的文件系统操作提供最优化的锁服务;异步回调函数机制实现了从服务器
到客户端、从系统下层到上层的反向异步事件通知。在系统设计中,采用模块化、层
次化和接口极小化的设计思想和原则,有效简化了系统各部分的设计,使得系统各部
分之间的功能划分明确、逻辑结构清晰,且容易进行扩展。
在 DLM 研究过程中,发现应用的数据访问模式对锁管理系统的设计有重大影响,
采用同样锁处理策略的系统在不同的数据访问模式下的表现往往差异很大。传统的范
围锁,由于以页或固定大小的文件系统块为锁定范围的基本单位,在细粒度交叉访问
模式下效率较低。新的“动态块管理(DBM,Dynamic Block Management)”算法,
通过引入块管理者的概念和动态确定块管理者的机制,使得系统可以授权任意大小锁
定范围。理论分析和仿真实验都表明,在访问的交叉粒度与文件系统块相比较小的情
况下,DBM 算法与传统的范围锁算法相比,可大幅提高系统实际并行度。

关键词:分布式并行文件系统,分布式锁管理,数据访问模式,动态块管理


∗本研究受“973”国家重大基础研究计划(2004CB318203)和国家自然科学基金(60303031)资助。
I
Abstract∗
Distributed file system appeared in 1970s. After 30 years pullulating, it has matured. It
has a wide range of applications in data processing, information service, business system,
science research, education and other fields. DPFS (Distributed Parallel File System) is an
important branch of the distributed file system, also the one of the primary research areas in
the future. Lots of advanced technologies are used in DPFS, to increase parallelity of data
I/O. As result of good usability of work’s capability, applications can expect as
much as GB or TB level storage bandwidth.
DLM (Distributed Lock Management) is an ponent of the distributed
file system, and the key part that ensure system correctness and data consistency. Because
of the high concurrent probability, DLM became more important in DPFS. Basing the study
of existing distributed file system and