
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
如果你做过调度系统,大概率经历过这样的时刻:凌晨两点,手机突然亮了。不是消息,是报警——任务挂了。你盯着屏幕,脑子里只剩一句话:“能不能让它自己修?”

这套打通「群聊告警→智能诊断→自动恢复→报告闭环」的全链路系统,可以很好地解决传统运维碎片化、高耗时、反复跨系统跳转的痛点。

企业数据平台拥有海量数据,但从业务问题到持续运行的数据任务,仍需跨越发现、开发、调度和运维等环节。本次分享将介绍以 Apache DolphinScheduler 作为工作流编排与生产运行底座,结合 Codex 和 MCP 构建数据智能 Agent 的完整方案。

企业数据平台拥有海量数据,但从业务问题到持续运行的数据任务,仍需跨越发现、开发、调度和运维等环节。本次分享将介绍以 Apache DolphinScheduler 作为工作流编排与生产运行底座,结合 Codex 和 MCP 构建数据智能 Agent 的完整方案。

作者 | 刘小东 全家便利店 算法工程师dsctl是社区维护的第三方 CLI,通过 REST API 操作 Apache DolphinScheduler®。工程师、Shell 脚本、CI/CD 和 AI Agent(下文简称 Agent)使用同一套命令。项目采用 Apache License 2.0 开源。

本文系统梳理 Apache DolphinScheduler 3.3.2 各服务(master/worker/api/alert/standalone)目录、JVM、数据源、注册中心、存储、Quartz、环境变量及日志等关键配置项、默认值与作用,为部署调优提供一站式参考。

最新消息,Apache DolphinScheduler 3.4.0 已正式发布!

本文为《深入理解 Apache DolphinScheduler:从调度原理到 DataOps 实战》系列专栏第 2 篇,从源码与调度模型视角,解析 DolphinScheduler 的核心抽象设计,重点说明 Workflow、TaskDefinition 与实例对象的职责边界,并结合 DAG 示意图解释调度系统如何基于依赖判断驱动复杂任务编排。

2026 年 2 月,Apache DolphinScheduler 社区保持了活跃的开发节奏。本月的工作重心围绕着系统稳定性的提升、现有功能的改进以及代码质量的优化。社区成员们在修复 Bug、增强用户体验、完善文档以及推进重要架构决策等方面都做出了积极的贡献。

本文为 《深入理解 Apache DolphinScheduler:从调度原理到 DataOps 实战》 系列专栏第五篇,将以 Apache DolphinScheduler 为例,解析调度系统中的失败重试、手动重跑与补数回填机制,澄清调度语义中的 Exactly Once 含义,并总结常见误用场景与实践建议,帮助构建稳定可靠的数据调度体系。








