Hive内存调优：Tez/Spark参数配置实战

一、内存管理核心原理

1. YARN资源分配
   Hive通过YARN管理资源，关键参数：

   • yarn.nodemanager.resource.memory-mb：节点总内存
   • yarn.scheduler.maximum-allocation-mb：单容器最大内存
     建议配置不超过节点物理内存的80%

2. 内存溢出（OOM）主因

   • 数据倾斜（如GROUP BY键值分布不均）
   • 过小的容器内存
   • 未优化的Shuffle操作

---

二、Tez引擎调优实战

-- 基础参数设置
SET hive.execution.engine=tez;
SET tez.am.resource.memory.mb=4096;  -- ApplicationMaster内存
SET hive.tez.container.size=4096;    -- 容器内存（默认=AM内存）
SET hive.tez.java.opts=-Xmx3276m;    -- JVM堆内存（建议容器内存×0.8）

-- 优化Shuffle
SET tez.runtime.io.sort.mb=1024;     -- 排序内存（不超过容器内存×0.4）
SET tez.runtime.unordered.output.buffer.size-mb=256; -- 输出缓冲区

-- 处理数据倾斜
SET hive.optimize.skewjoin=true;
SET tez.grouping.split-count=100;     -- 增加并行度

调优策略：

1. 大表Join时启用tez.shuffle-vertex-manager.min-src-fraction=0.25防止OOM
2. 复杂查询增加tez.am.launch.cmd-opts调整AM堆外内存
3. 监控Tez UI的Container Time定位瓶颈

---

三、Spark引擎调优实战

-- Executor配置
SET spark.executor.memory=8g;         -- Executor堆内存
SET spark.executor.memoryOverhead=2g; -- 堆外内存（建议堆内存×0.2~0.5）
SET spark.executor.cores=4;           -- 每Executor核心数

-- Driver配置（需处理大结果集时）
SET spark.driver.memory=4g;
SET spark.driver.maxResultSize=2g;

-- Shuffle优化
SET spark.sql.shuffle.partitions=200; -- 分区数（建议core数×2~3×Executor数）
SET spark.executor.extraJavaOptions=-XX:+UseG1GC; -- 启用G1垃圾回收

调优策略：

1. 使用动态分配：spark.dynamicAllocation.enabled=true
2. 广播小表：SET spark.sql.autoBroadcastJoinThreshold=10485760;（10MB）
3. 避免spark.memory.fraction>0.6（默认0.6），防止GC停顿

---

四、通用优化技巧

1. 内存与磁盘平衡

   • 增大Mapper内存：SET mapreduce.map.memory.mb=4096;
   • 启用中间压缩：SET hive.exec.compress.intermediate=true;

2. 规避OOM

   -- 分阶段执行复杂查询
   CREATE TABLE tmp_result AS 
   SELECT /*+ STREAMTABLE(a) */ a.key 
   FROM large_table a JOIN small_table b ON...;
   
   -- 启用向量化（ORC格式）
   SET hive.vectorized.execution.enabled=true;
   

3. 监控工具

   • Tez：http://<am-host>:9999/tez-ui
   • Spark：http://<driver-host>:4040
     关注指标：GC Time/Shuffle Spill/Memory Used

---

五、配置检查清单

问题场景	Tez参数	Spark参数
AM/Driver频繁OOM	增加tez.am.resource.memory.mb	增加spark.driver.memory
Task容器OOM	增加hive.tez.container.size	增加spark.executor.memory
Shuffle效率低	调整tez.runtime.io.sort.mb	增加spark.sql.shuffle.partitions
数据倾斜	hive.optimize.skewjoin=true	spark.sql.adaptive.skewJoin.enabled=true

实战建议：从默认配置开始，每次只调整1-2个参数，通过EXPLAIN分析执行计划，结合监控数据迭代优化。