0********** 张帅 实验2.1 hadoop的部署方案设计.docx

实验 hadoop 的部署方案设计一、 Hadoop 简介 Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台。以 Hadoop 分布式文件系统( HDFS ,Hadoop Distributed Filesystem )和 MapReduce (Google MapReduce 的开源实现)为核心的 Hadoop 为用户提供了系统底层细节透明的分布式基础架构。对于 Hadoop 的集群来讲,可以分成两大类角色: Master 和Salve 。一个 HDFS 集群是由一个 NameNode 和若干个 DataNode 组成的。其中 NameNode 作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的 DataNode 管理存储的数据。 MapReduce 框架是由一个单独运行在主节点上的 JobTracker 和运行在每个集群从节点的 TaskTracker 共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个 Job 被提交时, JobTracker 接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控 TaskTracker 的执行。从上面的介绍可以看出, HDFS 和 MapReduce 共同组成了 Hadoop 分布式系统体系结构的核心。 HDFS 在集群上实现分布式文件系统, MapReduce 在集群上实现了分布式计算和任务处理。 HDFS 在MapReduce 任务处理过程中提供了文件操作和存储等支持, MapReduce 在HDFS 的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了 Hadoop 分布式集群的主要任务。二、系统安装及日常维护须知服务器型号: IBM X3850 X5 1. 平时操作注意事项: 机器上安装的有 位操作系统和 Windows server 2000 操作系统。当重新启动时,想进入 CentOS 系统,需要先插上 CentOS 的U 盘启动盘,然后 F12 选择从 USB 设备启动,系统就会自动进入 CentOS 系统。若不插 U盘启动盘,系统将会自动进入机器上原来的 windows server 2000 系统。不会像普通个人计算机那样出现操作系统选择的界面。 盘启动盘制作方式: 由于此服务器不支持 CentOS 的系统引导,安装的时候不识别 位系统光盘。于是采用将系统镜像写入 U 盘,做成 U 盘启动盘,制作 U盘时选择写入新的主硬盘引导记录(MBR) 。这样,安装的时候插入 U 盘,选择从 U盘启动, 便可通过 U盘引导进入 CentOS 系统的安装界面,之后也可以选择从 U盘安装也可选择从光驱安装系统。制作步骤: 用软碟通,先选定 CentOS 系统镜像,然后点菜单栏启动选项,点写入硬盘映像,写入方式 USB-HDD+, 便捷启动选择写入新的主硬盘引导记录(MBR) , USB-HDD+ 。写盘结束后进入 U盘启动盘,进入 EFI 文件夹,删除 文件( 重要,见注.) 。至此, U盘启动盘制作 OK。注:之所以要删除 文件,是因为 操作系统对磁盘的管理采用 GPT (GUID Partition Table ,全局唯一标识分区表,缩写: GPT ), 它是一个实体硬盘的分区结构。它是 EFI( 可扩展固件接口标准) 的一部分,用来替代 BIOS 中的主引导记录分区表。因为 MBR 分区表不支持容量大于 的分区,所以也有一些 BIOS 系统为了支持大容量硬盘而用 GPT 分区表取代 MBR 分区表./446195/647702/ ) 。(MBR 和GPT 的详细区分参看链接此系统便采用了 GPT 分区表,但我们服务器的磁盘还没有超过 , 并且考虑到这台服务器上原先安装 windows 系统时已经采用 MBR ,并且不想删除该系统,所以仍要使用 MBR ,所以在制作 U盘启动盘的时候把 文件删除,来拒绝使用 GPT 分区表。若不删除,安装过程中分区的时候会提示你采用 GPT 分区,这将会丢失磁盘上的原有内容。所以采取此措施。三、平台支持及环境说明 1. 平台环境 CentOS Linux 操作系统; (平台硬件详细要求待考究...) JAVA 环境: ; SSH ; Hadoop- ; 2. 集群说明示例集