Spark 集群性能调优全攻略

优化Spark集群需聚焦内存管理、并行度控制和Shuffle过程三大核心。以下分步详解配置策略与实操方法：

一、内存配置优化

Spark内存分为执行内存（计算）和存储内存（缓存），需平衡分配：

1. 堆内内存调整

   • 公式：总内存 = Driver内存 + Executor内存 × Executor数量
   • 参数示例：

     spark-submit --driver-memory 4g --executor-memory 8g ...
     

   • 关键比例：
     • 执行内存占比：spark.memory.fraction（默认0.6）
     • 存储内存占比：spark.memory.storageFraction（默认0.5）
       建议根据任务类型调整：计算密集型提高spark.memory.fraction，缓存密集型提高存储占比。

2. 堆外内存管理

   • 启用堆外内存避免GC开销：

     spark.memory.offHeap.enabled=true  
     spark.memory.offHeap.size=2g  
     

   • OOM预防：
     • 监控spark.executor.memoryOverhead（默认Executor内存的10%）
     • 复杂操作（如collect()）需调高至20%以上

二、并行度调整策略

并行度由分区数决定，过低导致资源闲置，过高引发调度开销：

1. 基准分区计算

   • 理想分区数：
     $$ \text{分区数} = \text{Executor数} \times \text{每个Executor核心数} \times 2 \sim 4 $$
   • 示例：100核集群建议设置200~400分区

2. 动态优化方法

   • 读取数据时：指定分区数

     val data = spark.read.option("numPartitions", 200).csv("path")
     

   • Shuffle后：重分区避免倾斜

     data.repartition(300)  // 强制平衡分区
     

   • 检查倾斜：通过df.rdd.partitions.size监控分区大小差异

三、Shuffle过程深度优化

Shuffle是性能瓶颈核心，需针对性调参：

1. 减少Shuffle数据量

   • 启用map-side聚合：

     spark.sql.shuffle.partitions=200  // 默认200，建议调至2~4倍核心数
     

   • 使用广播变量代替Join：

     val broadcastVar = spark.sparkContext.broadcast(lookupTable)
     

2. Shuffle写入优化

   • 合并小文件：

     spark.sql.adaptive.enabled=true          // 启用自适应优化
     spark.sql.adaptive.coalescePartitions.enabled=true // 自动合并分区
     

   • 调整缓冲区：

     spark.shuffle.file.buffer=1MB  // 默认32KB，增大减少磁盘IO
     spark.reducer.maxSizeInFlight=128MB // 提升网络传输效率
     

3. 高级参数调优

   参数	默认值	优化建议
   spark.shuffle.service.enabled	false	启用Shuffle Service解耦计算存储
   spark.shuffle.io.maxRetries	3	网络不稳定时增至8~10
   spark.shuffle.sort.bypassMergeThreshold	200	减少排序开销，小数据集可调高

四、综合调优检查清单

1. 内存监控：通过Spark UI观察GC Time与Storage Memory占比
2. 倾斜诊断：检查Stage中Task执行时间方差$ \sigma^2 $，若$ \sigma^2 > \text{平均时间} \times 0.5 $ 需优化
3. 压测验证：逐步增加数据量，观察OOM出现临界点

最佳实践：优先优化Shuffle（收益最高），其次调整并行度，最后精细化内存分配。每次修改后运行基准测试（如TPC-DS）验证效果。