在Spark中，repartition和coalesce都是用于调整RDD或DataFrame分区数量的操作，但它们在实现机制和适用场景上存在关键差异。以下是详细分析：

1. 核心区别

2. 工作机制

Repartition

• 通过全量Shuffle重新分配数据，过程包括：
  1. 将数据打散并均匀分发到所有Executor
  2. 按新分区数重新组织数据
  3. 生成全新的数据分区布局
• 代码示例：

  val df = spark.range(0, 100)
  val repartitioned = df.repartition(10)  // 增加分区数
  

Coalesce

• 通过合并相邻分区减少分区数：
  1. 不改变数据物理位置，仅重组分区元数据
  2. 将多个相邻分区合并为一个分区
  3. 不触发全量Shuffle（仅同一Executor内合并）
• 代码示例：

  val coalesced = df.coalesce(2)  // 减少分区数
  

3. 数学原理

设原分区数为$n$，目标分区数为$m$：

• Repartition：需计算所有数据的新位置，时间复杂度为$O(n)$
• Coalesce：仅需合并$n-m$个分区，时间复杂度为$O(1)$

4. 适用场景

5. 注意事项

1. 数据倾斜风险

   • coalesce合并分区时可能继承原有数据分布，导致新分区大小不均
   • 解决方案：先repartition再coalesce

2. Shuffle陷阱

   df.coalesce(10).repartition(5)  // 错误！仍触发两次Shuffle
   

   应直接使用df.repartition(5)避免冗余操作

3. Executor优化

   • 当目标分区数 ≤ Executor核数时，coalesce可完全避免跨节点数据传输

总结

• 选择coalesce当：减少分区数 + 追求高性能 + 可接受潜在数据倾斜
• 选择repartition当：增加分区数或需要严格数据均匀性
• 黄金法则：优先用coalesce减少分区，仅在必须时用repartition