基于海量数据优化管理的分布式文件存储系统应用研究.doc

基于海量数据优化管理的分布式文件存储系统应用研究
摘 要:大数据时代数据成为了企业非常有价值的资源,对实时产生的海量大数据进行价值最大化挖掘成为了企业当前非常重要的一项工作和追求目标。而针对如此海量的数据,首先要解决的一个问了数据处理的效率低下和成本居高不小。然而分布式文件存储系统就很好的避免了这些问题的出现,因为分布式文件存储系统并不是完全靠存储设备来实现对数据的管理的,它主要是以非标准协议的方式来对企业各类设备上的数据进行有效的资源整合,并通过专业的存储软件来实现数据的有效存储和管理,彻底解决了数据孤岛和设备硬件成本高的问题。
总结起来说,分布式文件存储系统具有以下几个方面的特性:
可拓展性
分布式文件存储系统的一个显著特点就是可拓展,这是传统集中式存储系统无法比拟的,它通过将企业内所有的存储有数据的设备有机连接起来,其可以通过扩展性将数据存储资源扩展形成数百台甚至几千台的设备存储集群,并且通过扩展性让存储系统性能呈线性增长。
成本较低
一般的常规服务器就可以满足分布式文件存儲系统的需要,存储设备要求比较低,常规的就能有效利用,这也是分布式存储系统优势的具体体现,那就是具有的自动负载均衡、自动容错机制。由于在常规的普通服务器上既可有效的运行分布式存储系统,那么数据存储运行成本就大大降低了。此外,扩展性的优势也降低了分布式存储系统对设备服务器的需求,进一步降低了成本。 性能优越
分布式文件存储系统高性能是其运行的一个显著特点,在企业数据管理中,无论是单一的服务器应用还是整个企业数据集群存储应用,分布式文件存储系统数据存储能力及效果都非常明显。
实用性强
对于用户来说,实现分布式存储系统的应用简单便捷是其性能发挥的又一特点,但是要想使这个系统使用起来非常实用便捷高效,对外接口的设计非常重要,在进行分布式存储系统选择使用时需要对用户提供简单好用的接口。此外,为了更好的与其它系统进行集成,可以提前设置好监控、运维等工具系统。
容错性
对服务器故障能够实现快速的检测,并且能够实现对发生故障服务器上的数据进行自动化迁移。
分布式文件存储系统虽然具有诸多的优势,但是在文件数据存储管理过程中也面临着一定调整,那就是持久化的保持数据和数据信息状态,这是因为分布式存储系统比较复杂的存储拓扑结构,这样就会增加系统出现故障的机率。要避免这样的问题发生,数据一致性是首先要解决的问题,而要确保数据的一致性,需要系统在自动容错、自动迁移以及并发读写的过程中来实现,并且要提前实现基于网络控制下的数据保护、数据冗杂、数据容错等功能,这就可以确保在企业设备各种服务器、磁盘或者交换机等出现故障或者某些异常情况时存储系统仍能保持非常好的可靠性和可用性。
3 常用的分布式文件存储系统
目前在用的分布式文件存储系统比较多,它们在各个领域的应用中其侧重的点不尽相同,在市场中应用中较多的为企业应用级,系统级的相对不多,主要的有GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等等。
4 典型的分布式文件存储的架构
在众多的分布式文件存储系统的应用中,开源的应用最为广