logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark 数仓分区归档优化:从 15 天到高效并发实践

本文提出了一种优化SparkSQL每小时分区归档任务的方案。针对原15天串行执行的低效问题,设计了"表间串行、表内天级并行、天内小时串行"的三级执行架构,通过动态并发控制、SparkUI可观测性增强、空分区跳过等关键技术,实现了任务的高效稳定执行。方案采用数据量估算决定并发度,设置JobGroup提升监控性,并优化资源配置。最终将笨重的长跑任务改造为可并发、可监控、可降级的稳健

文章图片
#spark#hive#数据仓库 +1
到底了