三, Spark 运行环境

• Spark 的运行模式有 Local(也称单节点模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s, Windows模式等常用模式

3.1 Local模式

• Local模式被定义为不需要其他任何节点资源, 在本地执行Spark代码的环境,也叫单机模式, 一般用于教学,调试, 演示等等,
• 配置文件设置方法: conf.setMaster[local[K]]
  

在Spark的本地模式中，多线程并不是指多个Executor在执行，而是指在同一个JVM进程中运行多个线程来并行处理任务。
当你在本地模式下使用local[N]指定线程数时，这些线程共享同一个Executor。具体来说：

local[N]：使用N个线程来并行执行任务。
local[*]：使用所有可用的CPU内核来作为线程数。
因此，虽然是多线程执行，但实际只有一个Executor在运行，所有任务在这个Executor内部并行调度和执行。

1. 解压相关的依赖文件

1. 将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩，放置在指定位置，路径中不要包含中文或空格
   • 下载地址: 点我

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C ../module
cd opt/module
mv spark-3.0.0-bin-hadoop3.2.tgz spark-3.0.0

2. 启动local环境

2. cd到安装目录

./bin/spark-shell

3. 启动成功后:
   

4. 浏览器输入: 虚拟机ip:4040 即可访问web管理端
   

3. 测试运行情况

5. 把测试文件 word.txt放入到上面提到的spark-3.0.0安装目录中,并输入之前的wordcount栗子的核心代码到Spark-shell
   • 注意word.txt的文件路径是以Spark-shell为基准的!

sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

6. 结果如下:
   

如何退出Shell? :quit

7. 提交应用(使用spark-submit)

3.2 Standalone 模式

local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。

StandAlone 是完整的Spark运行环境,其中:Master角色以Master进程存在, Worker角色以Worker进程存在.
Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行

Spark 的 Standalone 模式体现了经典的 master-slave 模式。

1. 把上一节提到的Spark-3.0.0改为spark-3.0.0-standalone

mv opt/module/spark-3.0.0 opt/module/spark-3.0.0-standalone

2. 进入spark-alone/conf 目录, 修改slaves.temlates 文件名为slaves

mv slaves.template slaves

3. 修改slaves文件, 添加work节点

bigdata01
bigdata02
bigdata03

4. 修改spark-env.sh.template 文件名为 spark-env.sh

mv spark-env.sh.template spark-env.sh

5. 修改spark-env.sh, 添加JAVA_HOME环境变量和集群对应的master节点

export JAVA_HOME=/opt/module/jdk-1.8
SPARK_MASTER_HOST=bigdata01
SPARK_MASTER_PORT=7077

注意：7077 端口，相当于 hadoop3 内部通信的 8020 端口，此处的端口需要确认自己的 Hadoop配置

6. 分发 spark-standalone 目录

xsync spark-standalone

7. 启动集群

./sbin/start-all.sh

8. 查看三台服务器的运行进程

9. 查看Master资源监控 Web UI界面:

• http://bigdata01:8080/

10. 提交应用测试

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://bigdata01:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

• 结果同上一节

3.2.1 提交参数说明

3.2.3 配置历史服务

• 由于 spark-shell 停止掉后，集群监控 bigdata01:4040 页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

1. 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

2. 修改 spark-default.conf 文件，配置日志存储路径

spark.eventLog.enabled true
spark.eventLog.dir hdfs://bigdata01:8020/directory

注意：需要启动 hadoop 集群，HDFS 上的 directory 目录需要提前存在。

3. 修改 spark-env.sh 文件, 添加日志配置

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://bigdata01:8020/directory
-Dspark.history.retainedApplications=30"

4. 分发配置文件

xsync conf

5. 重新启动集群和历史服务

sbin/start-all.sh
sbin/start-history-server.sh

6. 重新执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://bigdata01:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

7. 查看历史服务

3.2.4 配置高可用(HA)

• 所谓的高可用是因为当前集群中的 Master 节点只有一个，所以会存在单点故障问题。
• 所以为了解决单点故障问题，需要在集群中配置多个 Master 节点，
• 一旦处于活动状态的 Master发生故障时，由备用 Master 提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper 设置

1. 停止集群, sbin/stop-all.sh

2. 启动Zookeeper, zk stop

3. 修改spark-env.sh 文件, 添加如下配置

注释如下内容：
#SPARK_MASTER_HOST=bigdata01
#SPARK_MASTER_PORT=7077
添加如下内容:
#Master 监控页面默认访问端口为 8080，但是可能会和 Zookeeper 冲突，所以改成 8989，也可以自定义，访问 UI 监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=bigdata01,bigdata02,bigdata03
-Dspark.deploy.zookeeper.dir=/spark"

4. 分发配置文件, xsync conf

5. 启动集群, sbin/start-all.sh

6. 启动bigdata02的单独Master节点, 可以在bigdata02的Spark web监控网页看到: 此时bigdata02节点Master状态处于备用状态(StandBy)

[win10@bigdata02 sbin]$ start-master.sh

• 下面我们来测试下高可用

7. 提交应用到高可用集群

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://bigdata01:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

8. 停止bigdata01的资源监控进程Master, sbin/stop-master.sh

9. 再来查看bigdata02的监控网页, 可以看到Master状态转为了活动(ALive)

3.3 Yarn 模式

• 独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。
• 但是, Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，
• 所以还是和其他专业的资源调度框架集成会更靠谱一些。所以接下来我们来学习在强大的 Yarn 环境下 Spark 是如何工作的（其实是因为在国内工作中，Yarn 使用的非常多）。

3.3.0 Spark on Yarn 的本质

1. Master角色(集群资源的管理者) 由Yarn的ResourceManager担任;
2. Worker角色(单机资源管理者)由 Yarn的NodeManager担任;
3. Driver角色(任务管理者)运行在Yarn容器内部或者在提交任务的客户端进程中; (即Cluster模式和Client模式)
4. Executor(任务执行者)运行在Yarn提供的容器内;
   
   Spark on Yarn需要什么?
   

3.3.0.1 部署模式 DeployMode

Spark on Yarn 是有两种部署模式的, 决定了Driver的运行位置;

1. cluster模式 : Driver运行在Yarn容器内部, 和ApplicationMaster在同一个容器中;
   2 client模式 : Driver 运行在提交任务的客户端中, 比如运行在执行了spark-submit程序的进程中;

• 两种部署模式的区别:
  

3.3.1 解压

1. 将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩，放置在指定位置，路径中不要包含中文或空格
   • 下载地址: 点我

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C ../module
cd opt/module
mv spark-3.0.0-bin-hadoop3.2.tgz spark-3.0.0

3.3.2 修改配置文件

2. 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

3. 修改 hadoop 配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发

<!-- 取消内存检查 -->
 <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认
是 true -->
  <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
   <description>Whether virtual memory limits will be enforced for containers</description>
 </property>
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
   <value>4</value>
   <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
 </property>
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->
<property>
<property>
	<name>yarn.nodemanager.pmem-check-enabled</name>
	<value>false</value>
</property>

4. 修改 conf/spark-env.sh，添加 JAVA_HOME 和 YARN_CONF_DIR 配置

mv spark-env.sh.template spark-env.sh
。。。
export JAVA_HOME=/opt/module/jdk1.8
YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop

5. 分发配置文件,xsync conf

6. 启动hadoop集群

myhadoop start

启动后一定要确认Yarn已正常运行, jpsall, ResourceManager正在运行

6. 提交任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

7. 查看历史服务

3.3.5 配置历史服务器

• 由于 spark-shell 停止掉后，集群监控 bigdata01:4040 页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

1. 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

2. 修改 spark-default.conf 文件，配置日志存储路径

spark.eventLog.enabled true
spark.eventLog.dir hdfs://bigdata01:8020/directory

注意：需要启动 hadoop 集群，HDFS 上的 directory 目录需要提前存在。

3. 修改 spark-env.sh 文件, 添加日志配置

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://bigdata01:8020/directory
-Dspark.history.retainedApplications=30"

4. 分发配置文件, xsync conf

5. 重新启动集群和历史服务

sbin/start-all.sh
sbin/start-history-server.sh

6. 重新执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://bigdata01:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

7. 查看历史服务

3.4 K8S & Mesos 模式

• Mesos 是 Apache 下的开源分布式资源管理框架，它被称为是分布式系统的内核,在Twitter 得到广泛使用,管理着 Twitter 超过 30,0000 台服务器上的应用部署，
• 但是在国内，依然使用着传统的 Hadoop 大数据框架，所以国内使用 Mesos 框架的并不多，但是原理其实都差不多

---

• 容器化部署是目前业界很流行的一项技术，基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes（k8s），而 Spark也在最近的版本中支持了 k8s 部署模式。
  

3.5 Windows 模式

每次都需要启动虚拟机，启动集群，这是一个比较繁琐的过程，
并且会占大量的系统资源，导致系统执行变慢，不仅仅影响学习效果，也影响学习进度，Spark 非常暖心地提供了可以在 windows 系统下启动本地集群的方式，这样，在不使用虚拟机的情况下，也能学习 Spark 的基本使用

1. 把上面 3.1小节的spark-3.0.0-bin-hadoop3.2.tgz 放到windows环境中, 解压到一个无中文五空格无下划线_的目录下, 注意一定要遵守这个原则, 否则在打开spark-shell.cmd时会闪退!!!

2. 测试一下:

   1. 打开Spark-Shell
      
   2. 实现在data目录中创建word.txt, 随便写几个单词, 直接输入代码到shell

sc.textFile("../data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

3. 可能出现的问题和解决办法: 点我

3.6 部署模式对比