
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Spark 数仓分区归档优化:从 15 天到高效并发实践
本文提出了一种优化SparkSQL每小时分区归档任务的方案。针对原15天串行执行的低效问题,设计了"表间串行、表内天级并行、天内小时串行"的三级执行架构,通过动态并发控制、SparkUI可观测性增强、空分区跳过等关键技术,实现了任务的高效稳定执行。方案采用数据量估算决定并发度,设置JobGroup提升监控性,并优化资源配置。最终将笨重的长跑任务改造为可并发、可监控、可降级的稳健

到底了







