本文针对在YARN上运行Spark的常用配置参数进行讲解

1. 在yarn上启动spark application

确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。

这些configs用于写入HDFS并连接YARN ResourceManager。这个目录中包含的配置将被分发到YARN集群中，以便应用程序使用的所有容器使用相同的配置。如果配置引用的Java系统属性或环境变量不是由YARN管理的，它们也应该在Spark应用程序的配置(driver, executor和AM)中设置

如在HDP 3.1.5中，部署spark 2.4, spark-env.sh的配置如下：

#!/usr/bin/env bash

export SPARK_CLASSPATH=/usr/hdp/current/tez-client:/usr/hdp/current/tez-client/lib:/usr/hdp/current/hive-client/lib:$SPARK_CLASSPATH
HADOOP_CONF_DIR=/etc/hadoop/conf
SPARK_MASTER_WEBUI_PORT=9090
export JAVA_HOME=/usr/java/jdk1.8.0_60
export HIVE_HOME=/usr/hdp/current/hive-client/bin
export SPARK_HISTORY_OPTS="-Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hdp01:8020/spark2.4-history"
export HDP_VERSION=3.1.5.0
SPARK_JAVA_OPTS= -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps

在YARN上启动Spark应用程序有两种部署模式:

• cluster模式下，Spark driver运行在集群中YARN管理的application master进程中，启动应用后客户端退出。

• client模式下，driver运行在客户端进程中，application master程序仅用于向YARN请求资源。

不同于Spark支持的其他集群管理器(如Standalone, Mesos)，在--master参数中指定了master的地址，在YARN模式下，ResourceManager的地址从Hadoop配置中获取。因此，--master参数是yarn。

如启动一个计算pi的Spark程序，命令如下：

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    examples/jars/spark-examples*.jar \
    10

2. spark-submit提交任务参数

2.1. 参数说明

蓝色字段是常用的参数

2.2. 命令示例

spark-shell --packages  mysql:mysql-connector-java:5.1.27 --repositories http://maven.aliyun.com/nexus/content/groups/public/

# yarn cluster提交，使用spark.driver.extraJavaOptions

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 1g  --executor-cores 1  --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j-driver.xml" --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-executor.xml" --files=/opt/test/conf/log4j-driver.xml,/opt/test/conf/log4j-executor.xml --jars "/opt/test/slf4j-api-1.7.25.jar" spark-examples_2.11-2.4.7.jar 10

3. spark application配置参数

3.1. heap内存模型

       Spark 为了更高效的使用配置的堆内存，对堆内存进行了细分，下图（备注：此图源于互联网）对基于spark2(1.6+)对堆内存分配比例进行了描述

其中：

Reserved Memory 保留内存，系统默认值为300，一般无需改动，不用关心此部分内存。 但如果Executor分配的内存小于 1.5 * 300 = 450M时，Executor将无法执行。

Storage Memory 存储内存，用于存放广播数据及RDD缓存数据。由下图可知，Spark 2+中，初始状态下，Storage及Execution Memory均约占系统总内存的30%（1 * 0.6 * 0.5 = 0.3）。

在UnifiedMemory管理中，这两部分内存可以相互借用，为了方便描述,使用storageRegionSize来表示“spark.storage.storageFraction”。

当计算内存不足时，可以改造storageRegionSize中未使用部分，且StorageMemory需要存储内存时也不可被抢占； 若实际StorageMemory使用量超过storageRegionSize，那么当计算内存不足时，可以改造(StorageMemory – storageRegionSize)部分，而storageRegionSize部分不可被抢占。

详见参见：http://spark.apache.org/docs/2.4.0/configuration.html#memory-management

3.2. 参数说明

内存相关的配置项如下，默认值是指spark 2.4.x的默认值

以下参数已经弃用：

spark.shuffle.consolidateFiles

3.2. 使用示例

#代码
spark = (
    SparkSession.builder
        .master('yarn')
        .appName('StackOverflow')
        .config('spark.driver.memory', '35g')
        .config('spark.executor.cores', 5)
        .config('spark.executor.memory', '35g')
        .config('spark.dynamicAllocation.enabled', True)
        .config('spark.dynamicAllocation.maxExecutors', 25)
        .config('spark.yarn.executor.memoryOverhead', '4096')
        .getOrCreate()
)
sc = spark.sparkContext

#命令行
spark-submit --class com.suntek.algorithm.process.main \
   --master yarn \
   --driver-cores 1 \
   --num-executors 3 \
   --executor-cores 7 \
   --conf  "spark.driver.memory=1g" \
   --conf  "spark.executor.memory=3g" \
   --conf "spark.memory.fraction=0.8" \
   --conf "spark.memory.storageFraction=0.3" \
   --conf "spark.shuffle.memoryFraction=0.7" \
   --conf "spark.executor.memoryOverhead=3g" \
   --conf "spark.task.cpus=2" \
   --conf "spark.port.maxRetries=500" \

参考

http://spark.apache.org/docs/2.4.7/running-on-yarn.html

http://spark.apache.org/docs/2.4.7/configuration.html