大数据框架性能调优：Hadoop 与 Spark 的参数配置差异与技巧

性能调优是大数据处理的核心环节，Hadoop（基于MapReduce）和Spark（基于内存计算）的架构差异导致其调优策略显著不同。以下从参数配置角度展开分析：

---

一、Hadoop 参数调优重点

Hadoop 的核心瓶颈在磁盘 I/O 和网络传输，调优需聚焦：

1. Shuffle 优化

   • mapreduce.task.io.sort.mb（默认 100MB）：
     增大排序缓冲区可减少磁盘溢写次数，建议设为可用内存的 70%。
   • mapreduce.reduce.shuffle.input.buffer.percent（默认 0.7）：
     Reduce 任务从 Map 端获取数据的缓冲区占比，集群网络差时可提升至 0.8。

2. 内存分配

   • mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb：
     根据数据量调整，避免频繁 GC。例如处理 1TB 数据时，建议 Map 任务内存 ≥ 4GB。

3. 压缩与合并

   • 启用 mapreduce.map.output.compress=true（使用 Snappy 编解码器）减少 Shuffle 数据量。
   • 合并小文件：设置 mapreduce.input.fileinputformat.split.minsize 避免过多 Map 任务。

---

二、Spark 参数调优重点

Spark 的瓶颈主要在内存管理和并行度，关键技巧：

1. 内存划分

   • spark.executor.memory：Executor 总内存，建议占节点内存 70%~80%。
   • spark.memory.fraction（默认 0.6）：
     调整执行内存（Execution）和存储内存（Storage）的比例，计算密集型任务可提升至 0.7。

2. 并行度与分区

   • spark.default.parallelism：
     设为集群核心数 2~4 倍，例如 100 核集群设为 200~400。
   • spark.sql.shuffle.partitions（默认 200）：
     大数据集（>1TB）需增至 1000 以上，避免分区倾斜。

3. Shuffle 优化

   • spark.shuffle.file.buffer（默认 32KB）：
     增大至 128KB 减少磁盘 I/O。
   • 启用 spark.shuffle.service.enabled=true 实现 Executor 动态释放。

4. 序列化与缓存

   • 使用 Kryo：spark.serializer=org.apache.spark.serializer.KryoSerializer。
   • 对重复使用的 RDD 执行 persist(StorageLevel.MEMORY_AND_DISK)。

---

三、关键配置差异对比

调优维度	Hadoop	Spark
核心目标	减少磁盘 I/O	最大化内存利用率
Shuffle 优化	增大排序缓冲区，压缩 Map 输出	调整分区数，优化缓冲区大小
内存管理	静态分配（需手动设置 Map/Reduce 内存）	动态划分（Execution/Storage 内存池）
数据倾斜处理	自定义 Partition 逻辑	repartition + 盐值（Salting）技术

---

四、通用调优技巧

1. 监控工具：
   • Hadoop 使用 Counters 分析任务瓶颈，Spark 通过 Web UI 观察 Stage 耗时。
2. 数据本地性：
   确保输入数据与计算节点匹配（HDFS 副本放置策略）。
3. 避免 Full GC：
   • Hadoop：调大 -Xmx 并启用 -XX:+UseG1GC。
   • Spark：监控 Executor GC 时间，超过 10% 需优化内存比例。
4. 参数联动：
   例如 Spark 中同时调整 spark.executor.cores（单 Executor 核心数）和 spark.executor.memory 避免资源碎片。

示例：Spark 内存配置公式
设节点内存为 $M$，Executor 数量为 $E$，则单 Executor 内存建议值：
$$ \text{executorMemory} = \frac{0.8M}{E} - 1\text{GB} \quad (\text{预留系统开销}) $$

通过针对性参数调整，Hadoop 作业可提升 30%~50% 性能，Spark 应用甚至可加速 2~5 倍。实际调优需结合集群监控数据迭代验证。