在Spark离线计算中，优化RDD持久化与Shuffle操作可显著提升性能。以下为关键实践：

一、持久化策略优化

1. 存储级别选择原则

   • 默认MEMORY_ONLY：适合小数据集（内存充足时）
   • MEMORY_AND_DISK_SER：大数据集首选（序列化节省50%空间）
   • DISK_ONLY：仅当内存严重不足时使用
     $$ \text{空间效率} = \frac{\text{原始数据大小}}{\text{序列化后大小}} $$

2. 实践技巧

   val rdd = sc.textFile("hdfs://data.log")
              .filter(_.contains("ERROR"))
              .persist(StorageLevel.MEMORY_AND_DISK_SER)  // 显式指定
   

二、Shuffle参数调优

// 集群配置示例
spark-submit --conf spark.shuffle.file.buffer=128k \
             --conf spark.reducer.maxSizeInFlight=96m \
             --conf spark.shuffle.io.retryWait=60s \
             --class Main app.jar

三、数据倾斜解决方案

1. 盐化技术（Salting）

   val skewedRDD = rdd.map{ case (key, value) => 
     val salt = (key.hashCode % 100).abs
     (s"$salt-$key", value)
   }
   

2. 两阶段聚合

   // 第一阶段局部聚合
   val partialAgg = skewedRDD.reduceByKey(_ + _) 
   
   // 第二阶段全局聚合
   val finalResult = partialAgg.map{ case (saltKey, value) =>
     val key = saltKey.split("-")(1)
     (key, value)
   }.reduceByKey(_ + _)
   

四、验证优化效果

1. Spark UI监控指标
   • Shuffle Write/Read Size
   • GC Time（目标 < 10% task时间）
2. 日志分析
   关注Shuffle spill (memory)次数，理想值为0

重要原则：持久化前确保RDD已被充分过滤，避免缓存无效数据；Shuffle前通过repartition调整分区数，目标分区大小建议在128-256MB之间：
$$ \text{理想分区数} = \frac{\text{总数据量}}{200\text{MB}} $$