Lustre集群文件系统元数据管理策略的研究.pdf

⑦寸阂石油六学硕士学位论文集群文件系统元数据管理策略的研究学科专业：计算机科学与技术高性能计算刘会会刘素芹研究方向：作者姓名：指导教师：二。一二年五月中图分类号：单位代码：学号：
壶葙学位论文作者签名：．主垒金翫日期：．辍！耾』日期：刀／≥年。‘月日期：劲二年关于学位论文的独创性声明学位论文使用授权书本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外，本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油大学6或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志对研究所做的任何贡献均已在论文中作出了明确的说明。若有不实之处，本人愿意承担相关法律责任。本人完全同意中国石油大学6有权使用本学位论文ǖú幌抻谄溆∷和电子版褂梅绞桨ǖú幌抻冢罕Ａ粞宦畚模垂娑ㄏ蚬矣泄夭棵机构送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、借阅和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、缩印或其他复制手段保存学位论文。保密学位论文在解密后的使用授权同上。学位论文作者签名：指导教师签名：
摘要合低骋云淞己玫男阅艿玫搅斯惴河τ茫瞧浯娲⑾低车腎／恃现制约着系统整体性能的提升，对于石油勘探中的地震资料处理这类巨量计算、海量存储的应用，系统的瓶颈更为突出。虽然引入分布式文件系统能在一定程度上提高效率，但是本身也存在潜在的瓶颈，有待于进一步改善。本文针对地震资料处理集群系统中存在的瓶颈，将基于对象存储的分布式文件系统引入到集群中。在深入分析文件系统的基础上，针对的单存在的系统瓶颈，提出了新的元数据管理策略，对其元数据的组织、管理以及读写操作做了一系列的优化，使得并行性能得到更好的发挥。本文通过深入分析的并发访问模式，设计并实现了热度算法，该算法考虑到数据在系统中的生命周期，通过参数热度阈值及时间周期的设置，使得该算法具有动态性，能够及时的判断系统中的热点元数据。通过嘶捍胬醇跎僦苯臃梦蚀排檀问以减少元数据操作请求的响应时间，使系统获得更高的吞吐量，以减少单元数据服务器出现瓶颈的可能性。为了验证方案的有效性，搭建了一个基于文件系统的海圆问和以及性能进行测试。实验结果表明，引入基于二维表的元数据描述策略及热度算法之后，极大地缩短了元数据读写操作的响应时间，节省了系统的操作时间，使得效率提高了五倍左右。为了进一步验证算法的有效性和稳定性，将本文设计的元数据描述策略及热度算法应用到实际地震资料处理集群中，实际应用表明，文件系统引入及热度算法的调用，使得系统对同一块资料的处理周期缩短为原来的三分之一，效率提高了近四倍。总之，文件系统能在一定程度上缓解疧瓶颈，并且对其进行设计之后，能够更好的提高系统的疧效率，进而提升系统的整体性能。关键词：地震资料处理集群，，元数据管理，瓶颈，热度算法’
，瑆甀／，瑆．．瓻．瓾甌琤瑃，產甌，甌疧瑆．．，．
，，疧，篠琹琺瓵琇
录目第一章绪论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第二章：文件系统及其攀觥鳌!4邮浇峁埂第三章：元数据描述策略设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．第四章热度算法设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯课题的背景和意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．合低车腎／肿础．卣鹱柿洗硐低车腇枨蟆相关研究⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．植际轿募低场．J莨芾怼本文主要研究内容⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯章节安排⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯憾晕募低车男枨蟆系统结构及主要特征⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．体系结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯的主要特性⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯的文件存储与访问⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯：～⋯⋯⋯元数据服务器梦使獭本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．ぷ骰萍拔侍夥治觥ぷ骰啤侍夥治觥基于二维表的元数据描述策略设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．梦事肪侗怼．募柯际粜员怼．┱故粜员怼性能评价⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．试验结果分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．
第五章测试结果及分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．总结与展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．