第10讲 分布式云存储.pptx

2017/4/241第10讲分布式云存储2主要内容1分布式文件系统的特点2常见分布式文件系统3Windows平台DFS搭建4Hadoop与HDFS介绍5单节点HDFS部署6HDFS编程与控制分布式文件系统分布式文件系统(DistributedFileSystem,DFS)指通过一套管理系统,能够将文件分散至不同的计算机进行存储,并通过规范的标准协议方便客户机进行高效存取。分布式文件系统的设计基于客户机/服务器模式服务器端通常由主命名服务器、备用命名服务器以及多个节点数据服务器组成主命名服务器提供元数据存取:元数据是关于数据的数据或者叫做用来描述数据的数据备用命名服务器为主命名服务器提供冗余保护数据服务器存储数据块,用于具体文件块的存取服务器端与客户端依据约定的存取协议(协议可能是标准协议),根据权限分配,允许客户端访问经过授权的目录与文件对于客户端来讲,一旦获得访问授权,其使用这些目录与文件就像使用本地磁盘一样方便分布式文件系统的用途“云盘”:后台存储通常应用的是分布式文件系统客户端:可以是个人电脑、平板、手机未来个人存储不需要放在本地,直接通过各种客户端访问远端个人存储区域4分布式文件系统特点分布式文件系统通过协同多个节点消除单点故障和性能瓶颈,并在设计上要满足以下特点:(1)高可用;(2)高负载;(3)高性能。较于传统文件系统的特点统一命名空间:客户端看到的是统一的全局命名空间,用户操作起来就像是管理本地文件系统,但用户文件实际上分布于集群的多个节点上。扩展性强:可灵活增减数据服务器节点,或通过替换的方式增强节点的存储能力高性能:数据服务器节点在功能上完全对等,单个节点故障不会影响集群整体运转高度负载均衡:后端通过负载均衡算法将文件切成块并分布式存放;前端用户读写请求采用数据块的方式并行操作,并通过负载均衡策略,将前端的访问操作分散到多个数据服务器节点上。常见的分布式文件系统LustreLustre主要面向超级计算机,拥有超强可扩展性与可靠性,能够支持上万个节点,PB级存储、100GB/S的高速访问能力GoogleFSGoogleFS(GoogleFileSystem)是谷歌公司开发的一个分布式可扩展的文件系统,它主要用于大型、分布式、大数据量的互联网应用平台Hadoop平台,是在受到GoogleFS启发后,采用其理念重新用Java语言实现的一个开源平台MogileFSMogileFS是运行于Linux平台上的开源分布式文件系统,由DangaInteractive公司开发基于应用层的分布式文件系统,支持NFS、HTTP访问常见的分布式文件系统FastDFSFastDFS是一个类GoogleFS的开源分布式文件系统,它由C/C++语言开发,可运行于Linux、UNIX、AIX平台FastDFS支持文件的高效存储、同步、上传、下载等,比较适合于互联网视频网站、文档分享网站、图片分享网站等应用WindowsDFSWindows上提供了一种文件分布式存放、统一访问的机制DFS平台能够将存储在不同地域服务器(前提是网络可达)上的共享文件夹,以链接的形式加入到一个逻辑共享文件夹,也称为根目录,通过访问根目录中的资源别名,可以实现对资源的实际访问HadoopHDFSHadoop分布式文件系统WindowsDFS示例用户需求A公司由总部与十家分支机构组成,总部与分支机构各有三台Windows文件服务器,共33服务器。A公司员工根据权限设定,需要经常使用这些服务器,但面临如下问题服务器数量多,名称不容易记文件均是在服务器单点存储,没有副本冗余设计文件存放于不同的服务器,员工不容易进行查找而A公司运维人员面临的问题也很严峻,需要维护的服务器数量众多,无法细粒度保证用户是否是合法访问WindowsDFS示例解决思路这是一个典型的WindowsDFS的应用,33台服务器足以实现一个颇具规模的分布式文件管理系统,在部署DFS平台之后,这33台文件服务器逻辑上组成一个大的文件服务器,并且通过服务器之间文件自动复制策略,保证每一个文件至少有一个以上的副本,对于不同分支机构员工经常需要访问的文件可以进行就近缓存,以节省流量,提升整体访问性能。为简化说明,从中抽出2台服务器进行讲解,一台来自于总部,命名为AServer,用于当成根目录节点;另一台来自于一家分支机构,命名为Bserver。通过下面的操作将AServer搭建成一个管理节点,作为统一访问入口;BServer中一个共享目录挂接至AServer根目录下面,并命名为Btest,用户能够通过访问AServer中的BTest就可以访问到BServer上的资源。-1ts