Sparkonyarn集群搭建详细过程.docx

Spark on Yarn 集群搭建详细过程由于最近学****大数据开发, spark 作为分布式内存计算框架,当前十分火热, 因此作为首选学****技术之一。 Spark 官方提供了三种集群部署方案: Standalone, Mesos, Yarn 。其中 Standalone 为 spark 本身提供的集群模式, 搭建过程可以参考官网,本文介绍 Spark on Yarn 集群部署过程。使用 3台普通机器搭建 Spark 集群, 软件环境: Ubuntu LTS Ubuntu LTS CentOS7 S cala- Hadoop- spark--bin- Java- 硬件环境: 一个 Master 节点 Intel ? Core ? i5-2310 CPU @ ×4 4G 内存 300G 硬盘两个 Slave 节点 Intel ? Core ?i3 -2100 CPU ***@ 0GHz ×4 4G 内存 500G 硬盘一、配置/etc/hosts 及免密码登录本文下载安装的软件都放在 home 目录下。 hosts 文件配置在每台主机上修改 host 文件 sudo vim /etc/hosts fang-ubuntu1(Master) fang-centos(Slave) fang-Lenovo(Slave) localhost localhost 注:若此地未配置,或者未配置正确会导致集群启动不正常或者失败配置之后 ping 一下各机器名称检查是否生效,例如 ssh ******@fang-centos 。 SSH 免密码登录如果没有安装 ssh ,需要安装 Openssh server ,命令为 sudo apt-get install openssh-server 。 1)在所有机器上都生成私钥和公钥 ssh-keygen -t rsa #一路回车 2) 需要让机器间都能相互访问, 就把每个机子上的 b发给 maste r节点, 传输公钥可以用 scp 来传输。 scp ~/.ssh/ ******@fang-ubuntu1:~/.ssh/ 3)在 master 上,将所有公钥加到用于认证的公钥文件 authorized_keys 中 cat ~/.ssh/* >> ~/.ssh/authorized_keys 4)将公钥文件 authorized_keys 分发给每台 slave scp ~/.ssh/authorized_keys ******@fang-centos:~/.ssh/ 5)在每台机子上验证 SSH 无密码登录在终端中输入登录命令,例如: ssh ******@fang-centos 如果直接登录成功而不需要登录密码,则表示设置正确; 如果登录不成功,即仍然需要登录密码,则可能需要修改文件 authorized_keys 的权限。注: .ssh 文件夹的权限必须为 700 , authorized_ke