论文开题：分布式存储系统相关技术的研究.doc

论文开题：分布式存储系统相关技术的研究.doc论文开题:分布式存储系统相关技术的研究论文开题:分布式存储系统相关技术的研究发表时间:2013-8-1218:24:48大学本科毕业论文(设计)开题报告学院:计算机科学与技术 专业班级:08计算机科学与技术B班课题名称分布式存储系统相关技术的研究课题的研究目的和意义现代信息总量在飞速增长——每年增加的信息是历史所有信息量的总和,因此对于存储系统的需求是:具有巨大容量、高可靠性、高可用性、高性能、动态可扩展性和易维护性等。虽然随着硬盘技术的发展,市场上普通硬盘容量不断增大,但用户在多数情况下未能充分利用他们的硬盘,有大量的闲置存储空间。而有的用户需要存储大量文件,却苦于硬盘容量过小;而其他高性能的存储设备的情况也是如此,如高性能RAID、NAS往往都有多余的存储空间。为前提,分布式存储最初研究的正是将文件分散存储到网络的、愿意贡献和分享多余的存储空间的不同硬盘或其它存储设备上,解决单个主机磁盘容量小,不足以存储大量文件的缺陷。方法是把这些单机的硬盘或存储设备看做存储节点,每个节点既提供自己的存储空间给他人,也使用他人的存储空间存储数据,最终达到充分合理利用局域网内不同主机磁盘存储空间的目的。总的来说就是用廉价的、闲散的资源完成大量的数据存储和计算,一方曲提高了资源的利用率,另一方面提高了存储效率。分布式存储的这些优点使其得到了快速的发展,现在存储界致力于用分布式存储技术来满足当今应用对于存储系统容量、高可靠性、高可用性、高性能、动态可扩展性和易维护性的需求。本课题拟设计和实现一个分ella更高的稳定性和搜索效率。服务器几乎都使用异步模式[4]工作,使用IOCP⑸[5]技术可以获得最佳性能,而线程池的基础是多线程[8]技术及线程同步[6]问题。P2P分布存储主要涉及文件分块算法[7],文件的传输,文件的校验,网络传输效率的提高等问题,因为网络故障时有发生,是不可预料的。当今P2P主要面临的新问题是:节点数量大、动态性高、异构性强,分布广泛。现在几种分布式存储:Google文件系统(GoogleFileSystem・GFS)[9],用来满足Google迅速增长的数据处理需求。GFS与过去的分布文件系统拥有许多相同的目标,例如性能,可伸缩性,可靠性以及可用性。然而,它的设计还受到应用负载和技术环境观察的影响,采取了完全不同的设计观点。组件失效不再被认为是意外,而是被看做正常的现象。按照传统的标准來看,文件非常巨大,数G的文件非常寻常。在Google大部分文件的修改,不是覆盖原有数摒,而是在文件尾追加新数据。应用程序和文件系统API的协同设计提高了整个系统的灵活性。Memcached[IO]是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用來存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等oMemcached由DangaInteractive开发,访问速度的。LJ每秒动态页面访问量几千次,用户700万。Memcached将数据库负载大幅度降低,更好的分配资源,更快速访问。Hadoop[l1]分布式文件系统(HDFS)modityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,