Hadoop-Spark集群部署手册.docx

软件环境整体情况说明




JDK
√
√
√
√
Hadoop
√(Master)
√(Slave)
√(Slave)
√(Slave)
Hive
√
Scala
√
√
√
√
Spark
√(Master)
√(Worker)
√(Worker)
√(Worker)
安装包下载路径
系统名
软件包名
下载路径
Spark
hadoop-
/
hive-
spark-
scala-

集群网络环境
节点IP地址和主机名分布如下:
IP
HostName
用户名


vod


vod


vod


vod
环境搭建(每台机器都要操作)
修改HostName(非必须)
vim /etc/work
修改HOSTNAME为需要的名称
重启服务器,进行生效
reboot
设置Host映射文件
1.     使用root身份编辑/etc/hosts映射文件,设置IP地址与机器名的映射,设置信息如下:
vim /etc/hosts




2.     使用如下命令对网络设置进行重启
/etc/ restart
3.     验证设置是否成功
设置操作系统环境
关闭防火墙
在Hadoop安装过程中需要关闭防火墙和SElinux,否则会出现异常
1.     service iptables status 查看防火墙状态,如下所示表示iptables已经开启
2.     以root用户使用如下命令关闭iptables
chkconfig iptables off
关闭SElinux
1.     使用getenforce命令查看是否关闭
2.     修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效
JDK安装及配置
 赋予vod用户/usr/lib/java目录可读写权限,使用命令如下:
sudo chmod -R 777 /usr/lib/java
 把下载的安装包,上传到/usr/lib/java 目录下,使用如下命令进行解压
tar -zxvf jdk-7u55-linux-
解压后目录如下图所示:
使用root用户配置 /etc/profile,该设置对所有用户均生效
vim /etc/profile
添加以下信息:
export JAVA_HOME=/usr/lib/java/
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
修改完毕后,使用
source /etc/profile
java -version
更新OpenSSL
yum update openssl
无密码验证配置
1.     以root用户使用vim /etc/ssh/sshd_config,打开sshd_config配置文件,开放4个配置,如下图所示:
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
StrictModes no
2.     配置后重启服务
service sshd restart
,在/mon目录下,执行命令
mkdir .ssh
4.  使用vod用户登录在4个节点中使用如下命令生成私钥和公钥;
sudo chown -R vod .ssh
ssh-keyg