0.说明

我配置的是一个standby节点。如果电脑多建议配置2个standby。

1.下载zookeeper

下载网址:
zookeeper.apache.org
我下载的是3.4.6版:
这里写图片描述
用tar命令解压到/usr/local/spark里面:
这里写图片描述

2.配置zookeeper的bin目录

在~/.bashrc里面,配置zookeeper的bin目录:
这里写图片描述

3.修改zookeeper配置文件

在zookeeper目录下添加data,logs文件夹。用来放日志和数据:
这里写图片描述
这里写图片描述
这里写图片描述
进入data文件夹,添加名为myid的文件。修改里面参数
在master上修改myid,id号为0:
这里写图片描述
这里写图片描述
再在Worker1上修改myid,id号为1:
这里写图片描述
这里写图片描述
进入里面到conf文件夹,复制zoo_sample.cfg文件,命明为zoo.cfg。
这里写图片描述
并用vim编译器修改zoo.cfg文件,修改添加内容如下:
这里写图片描述

4.修改spark相关配置

再进入spark的conf里面修改spark-env.sh文件,注意还要去掉以前配置的SPARK_MASTER_IP=MASTER:
这里写图片描述
这里写图片描述

5.启动zookeeper

这里要在master和Worker1上都启动一下才行,如下分别在master和worker1上用zkServer.sh start命令启动。
这里写图片描述
可以用jps命令查看
这里写图片描述
然后启动hadoop和spark。根据以前的方法启动hadoop-dfs.sh,spark-all.sh,spark-history-server.sh(这里测试用不启动hadoop-yarn.sh了)。

6.查看节点状态

在8080里查看,master显示为alive,worker显示为standby
这里写图片描述

这里写图片描述
(当然可以再命令行下查看zookeeper的状态,用命令zkServer.sh status)

7.测试zookeeper

关闭master节点上的master
这里写图片描述
再看master:8080查看,发现master挂了,Worker1作为了新的master
这里写图片描述

这里写图片描述
再启动master中的master,看到master作为了新的standby,也就是作为了Worker1的备用。
这里写图片描述

这里写图片描述

Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐