Docker下Spark分布式集群搭建

本教程使用docker模拟3台主机搭建分布式Spark集群，属于伪分布式：

• 1、Docker安装
• 2、下载已经配置好的Spark集群镜像文件
• 3、新建3个容器，分别命名为cloud8，cloud9，cloud10
• 4、启动集群
• 5、通过web端查看
• 6、测试案例

---

1、Docker安装

Docker可以在Window下和Linux下安装，本教程基于Ubuntu16.04之上安装docker，注意如果你选择在虚拟机上安装docker，请保证虚拟机内存不小于4G，硬盘大小不小于15G
首先打开终端命令窗口，注意如果当前用户是root用户则以下所有操作均无需带 sudo

sudo apt-get install docker.io
sudo docker images

2、下载Spark镜像

这个镜像是我这几天在搭分布式Spark环境时保存下来的，为了方便大家快速搭建Spark集群，可以在这里下载 spark.tar（密码：ydzo）下载完成之后，可以拷贝或者移动到当前用户的home目录下，接下来输入命令

sudo docker load < ~/spark.tar

完成后，再次输入命令查看

sudo docker images

如果镜像加载成功则会多出一个spark镜像文件

3、创建3个容器

输入以下命令创建容器

docker container create --name cloud8 -h cloud8 --add-host cloud8:172.17.0.2 --add-host cloud9:172.17.0.3 --add-host cloud10:172.17.0.4 -it spark:5.0
docker container create --name cloud9 -h cloud9 --add-host cloud8:172.17.0.2 --add-host cloud9:172.17.0.3 --add-host cloud10:172.17.0.4 -it spark:5.0
docker container create --name cloud10 -h cloud10 --add-host cloud8:172.17.0.2 --add-host cloud9:172.17.0.3 --add-host cloud10:172.17.0.4 -it spark:5.0

完成后，输入以下命令查看容器

sudo docker ps -a

会发现多出3个容器，名称分别为cloud8，cloud9，cloud10

4、启动集群

在启动集群之前，需要修改一些配置文件，首先，打开3个命令窗口，按顺序在3个窗口输入以下命令

sudo docker start -i cloud8 

sudo docker start -i cloud9

sudo docker start -i cloud10

此时，应该可以看到，三个窗口分别显示进入了cloud8，cloud9，cloud10三台主机
下面在三个窗口中执行以下命令

vi ~/hadoop/etc/hadoop/myid

按i键开始编辑，将cloud8中的值改为1，cloud9中的值改为2，cloud10中的值改为3
接下来在三个命令窗口中输入以下命令

zkServer.sh start

显示started则表示启动成功，注意一定要保证3个窗口都启动成功
接下来启动dfs，Hadoop，Spark，注意下面输入命令都是在cloud8中进行

start-dfs.sh
start-yarn.sh
start-all.sh

如果中间没有报错（警告信息可以忽略），则当前已经启动了Hadoop和Spark集群了

5、在浏览器中查看

可以在浏览器中新建3个窗口，分别输入172.17.0.2:8080，172.17.0.2:8088，172.17.0.2:50070，如果所有页面均能打开，则表示集群启动成功

6、测试案例

接下来可以在cloud8窗口中输入spark-shell ,进入spark交互模型，通过写scala代码给Spark集群编写任务，详细的测试案例请参考文档（https://download.csdn.net/download/havefun00/11943884）

如果要退出集群，则在3个窗口分别输入exit即可，下一次再次进入集群流程为从上面第4步往下执行（注意此时不需要在修改myid值），最后欢迎大家关注我的CSDN账号，如果有任何问题随时可以留言