Spark一般有四种安装模式:
Local、Standalone、Yarn、Mesos/K8S部署模式;
这里讲解前三种模式的部署和安装方式:
本文讲解内容以Spark-3.0.0版本为例:
本文内容参照尚硅谷Spark-3.0.0版本安装资料,在自己的集群上搭建完成;仅供复习时使用,如有搭建需求,请根据自己的集群修改对应文件名。

1.1、Local(本地)模式

1.1.1、 解压缩文件

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩,放置在指定位置,路径中,不要包含中文或空格,课件后续如果涉及到解压缩操作,不再强调。

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module

cd /opt/module 

mv spark-3.0.0-bin-hadoop3.2 spark-local
1.1.2 、启动Local 环境
  1. 进入解压缩后的路径,执行如下指令

bin/spark-shell

2)成功后,可以输入网址进行 Web UI 监控页面访问

http://虚拟机地址:4040

测试:

进入spark-local/data目录下,创建word.txt;

//命令行中输入:
    
sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect    
    
//出现结果: Array[(String, Int)] = Array((scala,1), (hello,3), (spark,2))    

退出本地模式

:quit

Crtl + C

1.1.3 、提交应用

在spark-local的目录下直接运行:

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10 

1.2、Standalone (独立部署)模式

1.2.1、配置

Spark 的 Standalone 模式体现了经典的 master-slave 模式:

这里给定一个Master和2个worker;

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩在指定位置

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module

cd /opt/module 

mv spark-3.0.0-bin-hadoop3.2 spark-standalone
1.2.2、修改配置文件
  1. 进入解压缩后路径的 conf 目录,修改 slaves.template 文件名为 slaves

mv slaves.template slaves

  1. 修改 slaves 文件,添加 work 节点

hadoop102
hadoop103
hadoop104

  1. 修改 spark-env.sh.template 文件名为 spark-env.sh

mv spark-env.sh.template spark-env.sh

  1. 修改 spark-env.sh 文件,添加 JAVA_HOME 环境变量和集群对应的 master 节点
export JAVA_HOME=/opt/module/jdk1.8.0_212

SPARK_MASTER_HOST=hadoop102

SPARK_MASTER_PORT=7077

注意:7077 端口,相当于 hadoop3 内部通信的 8020 端口,此处的端口需要确认自己的 Hadoop配置

  1. 分发 spark-standalone 目录

xsync spark-standalone

1.2.3、启动集群
  1. 执行脚本命令:

sbin/start-all.sh

  1. 查看三台服务器运行进程:
=========== hadoop102 ============
3025 Jps
2963 Worker
2877 Master
=========== hadoop103 ============
2268 Jps
2205 Worker
=========== hadoop104 ============
2257 Worker
2317 Jps
    
//说明启动集群正常;    
  1. 查看 Master 资源监控 Web UI 界面:

http://hadoop102:8080

1.2.4 、提交应用
bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master spark://hadoop102:7077 \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10
  1. –class 表示要执行程序的主类

  2. –master spark://hadoop102:7077 独立部署模式,连接到 Spark 集群

  3. spark-examples_2.12-3.0.0.jar 运行类所在的 jar 包

  4. 数字 10 表示程序的入口参数,用于设定当前应用的任务数量在日志末尾网上一点位置出现:

21/05/02 19:37:52 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 5.997208 s
Pi is roughly 3.142747142747143

说明集群配置正常;

1.2.5、配置历史服务

​ 由于 spark-shell 停止掉后,集群监控hadoop102:4040 页面就看不到历史任务的运行情况,所以开发时都配置历史服务器记录任务运行情况。

  1. 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

进入conf目录下;

mv spark-defaults.conf.template spark-defaults.conf

  1. 修改 spark-default.conf 文件,配置日志存储路径

spark.eventLog.enabled true

spark.eventLog.dir hdfs://hadoop102:8020/directory

注意:需要启动 hadoop 集群,HDFS 上的 directory 目录需要提前存在。

sbin/start-dfs.sh

hadoop fs -mkdir /directory

  1. 修改 spark-env.sh 文件, 添加日志配置
export SPARK_HISTORY_OPTS="

-Dspark.history.ui.port=18080 

-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 

-Dspark.history.retainedApplications=30"

参数 1 含义:WEB UI 访问的端口号为 18080

参数 2 含义:指定历史服务器日志存储路径

参数 3 含义:指定保存 Application 历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。

分发配置文件

xsync conf

  1. 重新启动集群和历史服务

sbin/start-all.sh

sbin/start-history-server.sh

(保持HDFS开启)

  1. 重新执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
  1. 查看历史服务:

http://hadoop102:18080

1.2.6、配置高可用

​ 所谓的高可用是因为当前集群中的 Master 节点只有一个,所以会存在单点故障问题。所以为了解决单点故障问题,需要在集群中配置多个 Master 节点,一旦处于活动状态的 Master发生故障时,由备用 Master 提供服务,保证作业可以继续执行。这里的高可用一般采用Zookeeper设置;

集群规划:

  1. 停止集群

sbin/stop-all.sh

  1. 启动 Zookeeper

zk.sh start

  1. 修改 spark-env.sh 文件添加如下配置
注释如下内容:
#SPARK_MASTER_HOST=linux1
#SPARK_MASTER_PORT=7077

添加如下内容:
#Master 监控页面默认访问端口为 8080,但是可能会和 Zookeeper 冲突,所以改成 8989,也可以自定义,访问 UI 监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989
    
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104
-Dspark.deploy.zookeeper.dir=/spark"
  1. 分发配置文件

xsync conf/

  1. 启动集群

sbin/start-all.sh

  1. 启动 hadoop103 的单独 Master 节点,此时 hadoop103 节点 Master 状态处于备用状态

[root@hadoop103 spark-standalone]# sbin/start-master.sh

  1. 提交应用到高可用集群
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
  1. 停止 hadoop102 的 Master 资源监控进程(模拟现在的Master1宕机了)

查看 hadoop103 的 Master 资源监控 Web UI,稍等一段时间后,hadoop103 节点的 Master 状态提升为活动状态:

一段时间后Status状态变为Alive;

1.3、Yarn模式(重点)

​ Spark 主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还是和其他专业的资源调度框架集成会更靠谱一些,而且在国内工作中,Yarn 使用的也非常多;

1.3.1、解压缩文件

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 linux 并解压缩,放置在指定位置。

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module 
mv spark-3.0.0-bin-hadoop3.2 spark-yarn
1.3.2、修改配置文件
  1. 修改 hadoop 配置文件/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml, 并分发
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是 true -->
<property>
 <name>yarn.nodemanager.pmem-check-enabled</name>
 <value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是 true -->
<property>
 <name>yarn.nodemanager.vmem-check-enabled</name>
 <value>false</value>
</property>
  1. 修改 conf/spark-env.sh,添加 JAVA_HOME 和 YARN_CONF_DIR 配置
mv spark-env.sh.template spark-env.sh
    
export JAVA_HOME=/opt/module/jdk1.8.0_212
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop
1.3.3、测试

接下来启动HDFS和Yarn

spark-yarn目录下提交应用:

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

查看hadoop103的8088接口,点击 History,查看历史页面

1.3.4、配置历史服务器
  1. 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

  1. 修改 spark-default.conf 文件,配置日志存储路径

spark.eventLog.enabled true

spark.eventLog.dir hdfs://hadoop102:8020/directory

注意:需要启动 hadoop 集群,HDFS 上的目录需要提前存在。

sbin/start-dfs.sh

hadoop fs -mkdir /directory

  1. 修改 spark-env.sh 文件, 添加日志配置

export SPARK_HISTORY_OPTS="

-Dspark.history.ui.port=18080

-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory

-Dspark.history.retainedApplications=30"

参数 1 含义:WEB UI 访问的端口号为 18080

参数 2 含义:指定历史服务器日志存储路径

参数 3 含义:指定保存 Application 历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。

修改 spark-defaults.conf

spark.yarn.historyServer.address=hadoop102:18080

spark.history.ui.port=18080

  1. 启动历史服务

sbin/start-history-server.sh

  1. 重新提交应用:
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
  1. Web 页面查看日志:http://hadoop103:8088

日志输出成功则表示最终成功;

Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐