大数据处理效率之争：Hadoop 与 Spark 的任务执行流程差异分析

1. 核心架构差异

• Hadoop（MapReduce 模型）
  基于磁盘存储的批处理框架，任务执行分为两阶段：
  $$ \text{Map 阶段} \rightarrow \text{Shuffle 阶段} \rightarrow \text{Reduce 阶段} $$
  每阶段需将中间结果写入磁盘（如 HDFS），导致频繁 I/O 操作。

• Spark（内存计算模型）
  通过弹性分布式数据集（RDD）实现内存迭代：
  $$ \text{转换操作（Transformations）} \rightarrow \text{行动操作（Actions）} $$
  中间结果优先缓存于内存，仅溢出时写入磁盘。

2. 任务执行流程对比

阶段	Hadoop	Spark
任务划分	固定 Map/Reduce 两阶段	动态 DAG（有向无环图）调度
数据交换	Shuffle 需磁盘读写	内存优先，Shuffle 优化（如 Tungsten）
容错机制	通过磁盘副本恢复	RDD 血缘关系（Lineage）快速重建
延迟响应	批处理（分钟级）	微批/流式（毫秒级）

3. 效率测试场景示例

测试任务：TB 级日志的单词统计
测试指标：任务完成时间、资源利用率

# Hadoop MapReduce 伪代码示例
def map(key, value):  # 分片读取数据
    for word in value.split():
        emit(word, 1)

def reduce(key, values):  # 磁盘聚合结果
    emit(key, sum(values))

# Spark RDD 伪代码示例
rdd = sc.textFile("hdfs://logs")  # 内存加载数据
counts = rdd.flatMap(lambda line: line.split()) \
             .map(lambda word: (word, 1)) \
             .reduceByKey(lambda a, b: a + b)  # 内存聚合

测试结果（假设集群规模相同）：

• Hadoop：耗时 $T_h \propto \text{数据量} \times \text{磁盘 I/O 次数}$
• Spark：耗时 $T_s \propto \frac{\text{数据量}}{\text{内存缓存率}}$
  当内存充足时，$T_s \approx 0.1T_h$（实测效率差可达 10 倍以上）。

4. 效率差异根源

• I/O 瓶颈
  Hadoop 的磁盘依赖导致时间成本满足：
  $$ T_h = k \cdot \left( t_{\text{read}} + t_{\text{write}} \right) $$
  其中 $k$ 为 Shuffle 迭代次数。
• 内存计算优势
  Spark 通过 DAG 调度合并操作，减少数据落地次数：
  $$ T_s = \frac{ T_h }{ \alpha } \quad (\alpha >1 \text{ 为内存加速因子}) $$

5. 适用场景总结

框架	适用场景	瓶颈
Hadoop	超大规模冷数据存储、高可靠性场景	磁盘 I/O
Spark	迭代计算（机器学习）、实时流处理	内存容量、网络带宽

结论：Spark 通过内存计算和 DAG 优化显著提升效率，但需权衡资源成本；Hadoop 在磁盘密集型场景仍具稳定性优势。实际选型应结合数据热度、时效要求及集群资源配置。