大数据平台构建
张勇
南京科技职业学院 信息工程学院
——第三章:Hadoop集群搭建
CONCENTS
目录
Hadoop集群搭建
01
搭建准备
4
一、搭建准备
至少3节点
节点间网络互通
节点间能通过主机名互相免密访问(含自己对自己免密)
各节点均需具有JAVA程序运行环境
1、Hadoop集群搭建各节点应具备的条件
02
JAVA
开发环境
二、JAVA开发环境
1、Linux下JAVA开发环境安装和配置
解压JDK压缩包 : tar –zxvf 压缩包 -C 目标文件夹
修改文件夹名 : mv jdk原文件夹名 jdk
修改系统环境变量: /etc/profile
export JAVA_HOME=/services/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt/jar:$JAVA_HOME/lib/
二、JAVA开发环境
2、常见错误
修改环境变量错误导致所有命令失效
export PATH=/usr/bin:/usr/sbin:/bin:/sbin
03
Hadoop
的安装
三、Hadoop的安装
1、解压安装
解压JDK压缩包 : tar –zxvf 压缩包 -C 目标文件夹
修改文件夹名 : mv hadoop原文件夹名 hadoop
修改系统环境变量: /etc/profile
export HADOOP_HOME=/services/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
二、大数据的定义
2、安装所有节点
远程拷贝命令: scp -r 源文件夹 目标文件夹
scp /etc/profile hadoop02:/etc/profile
scp -r /services/ hadoop02:/
大数据平台构建(ppt课件) 来自淘豆网www.taodocs.com转载请标明出处.