Ubuntu部署Spark集群记录

发表于 分类于 Waline： 阅读次数： 本文字数： 878 阅读时长 ≈ 3 分钟

今天记录一下，在 Ubuntu 14.04 上部署 Spark 集群的过程。

前期准备

系统及软件版本说明

本章操作中所使用的相关操作系统及软件版本如下：

软件 版本
操作系统 Ubuntu 14.04.1
JDK 1.8.0
Hadoop 2.7.3
Spark 2.2.0

JDK 安装

集群中每台机器都需要安装 JDK，步骤如下：

  1. 上传jdk-8u191-linux-x64.tar.gz到/opt目录并解压

    1
    tar -zxvf jdk-8u191-linux-x64.tar.gz

  2. 将 JDK 环境变量配置到/etc/profile 中

    1
    2
    3
    4
    5
    echo 'export JAVA_HOME=/opt/jdk1.8.0_191' >> /etc/profile
    echo 'export JRE_HOME=/opt/jdk1.8.0_191/jre' >> /etc/profile
    echo 'export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib' >> /etc/profile
    echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
    source /etc/profile

网络配置

如有三台机器，分别命名为 master、slave1、slave2。那么我们就分别修改各自机器上/etc/hostname文件中的机器名为上述名称。
修改每台机器的/etc/hosts 文件，添加上述三对网络 IP 和机器名的对应：

1
2
3
4
127.0.0.1       localhost
192.168.1.2     master
192.168.1.3     slave1
192.168.1.4     slave2

SSH 免密登录配置

该操作是要让 master 节点可以无密码 SSH 登陆到各个 slave 节点上。

  1. 首先生成 master 节点的公钥，在 master 节点的终端中执行

    1
    2
    3
    mkdir -p ~/.ssh
    cd ~/.ssh
    ssh-keygen -t rsa

    多次回车完成 ssh 密钥对创建

  2. 在各节点上将该公钥加入授权

    将公钥加入 master 本机授权，master 节点上执行命令：

    1
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    完成后执行 ssh master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）

    接着在 master 节点将上公匙分发到 slave1 和 slave2 节点，如下：

    1
    2
    scp ~/.ssh/id_rsa.pub root@slave1:/root
    scp ~/.ssh/id_rsa.pub root@slave2:/root

    接着分别在 slave1 和 slave2 节点上，将 ssh 公匙加入授权：

    1
    2
    mkdir -p ~/.ssh
    cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

    这样，在 master 节点上就可以无密码 ssh 登录到各个 slave 节点了，在 master 节点上执行 ssh slave1 和 ssh slave2 命令进行检验。

Hadoop 集群部署

Spark 配置前需要部署 Hadoop 集群，这个在上一篇文章里讲过，可以前往查看。

Spark 集群部署

安装及配置

  1. 上传 spark-2.2.0-bin-hadoop2.7.tgz 到 /opt 目录并解压。

    1
    tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz

  2. 将 Spark 环境变量配置到/etc/profile中

    1
    2
    3
    echo 'export SPARK_HOME=/opt/spark-2.2.0-bin-hadoop2.7' >> /etc/profile
    echo 'export PATH=$SPARK_HOME/bin:$PATH' >> /etc/profile
    source /etc/profile

  3. 编辑spark-env.sh文件

    复制 spark-env.sh.template 并重命名为 spark-env.sh，编辑spark-env.sh文件

    1
    2
    cp /opt/spark-2.2.0-bin-hadoop2.7/conf/spark-env.sh.template /opt/spark-2.2.0-bin-hadoop2.7/conf/spark-env.sh
    vi /opt/spark-2.2.0-bin-hadoop2.7/conf/spark-env.sh

    添加如下内容：

    1
    2
    3
    4
    5
    export JAVA_HOME=/opt/jdk1.8.0_191
    export SPARK_MASTER_IP=192.168.2.76
    export SPARK_WORKER_MEMORY=4g
    export HADOOP_HOME=/opt/hadoop-2.7.3
    export HADOOP_CONF_DIR=/opt/hadoop-2.7.3/etc/hadoop
    • SPARK_MASTER_IP为 master 节点 IP
    • SPARK_WORKER_MEMORY可根据实际情况调整

  4. 编辑slaves文件

    复制 slaves.template 并重命名为 slaves，编辑slaves文件

    1
    2
    cp /opt/spark-2.2.0-bin-hadoop2.7/conf/slaves.template /opt/spark-2.2.0-bin-hadoop2.7/conf/slaves
    vi /opt/spark-2.2.0-bin-hadoop2.7/conf/slaves

    内容：

    1
    2
    3
    master
    slave1
    slave2

  5. 文件配置分发

    至此，master 上的 spark 配置已经结束，需将/etc/profile、/opt/spark-2.2.0-bin-hadoop2.7通过 scp 分发至至 slave1、slave2，重新编译 /etc/profile 使生效。

    1
    2
    3
    4
    scp /etc/profile root@slave1:/etc/profile
    scp /etc/profile root@slave2:/etc/profile
    scp -r /opt/spark-2.2.0-bin-hadoop2.7 root@slave1:/opt/spark-2.2.0-bin-hadoop2.7
    scp -r /opt/spark-2.2.0-bin-hadoop2.7 root@slave2:/opt/spark-2.2.0-bin-hadoop2.7

    分别登录 slave1 和 slave2 执行source /etc/profile

启动及验证

  1. 启动 Spark

    1
    /opt/spark-2.2.0-bin-hadoop2.7/start-all.sh

  2. 验证

    浏览器访问 http://192.168.1.2:8080/ (master 节点 IP)，查看 Spark 集群配置及运行情况