一、关于Apache DolphinScheduler

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂,无法监控任务健康状态的问题。 DolphinScheduler 以 DAG(Directed Acyclic Graph,DAG)流式方式组装任务,可以及时监控任务的执行状态,支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

(一)核心组件

  • Master Server:DAG 解析、任务切分、调度分发、容错、心跳管理(去中心化,多节点高可用)
  • Worker Server:执行具体任务、日志收集、资源隔离(多节点水平扩展)
  • API Server:提供 REST 接口,前端 UI / 第三方调用入口
  • Alert Server:邮件、钉钉、企业微信、飞书等告警
  • Registry(ZooKeeper):服务注册、分布式锁、集群协调、心跳检测
  • Database:存储元数据(工作流、任务、实例、用户),推荐 MySQL/PostgreSQL(生产),单机版用 H2(临时)

(二)核心概念

  • 租户(Tenant):对应 Linux 系统用户,Worker 执行任务的身份,用于权限 / 资源隔离(必须创建)
  • 项目(Project):工作流的管理单元,所有 DAG 归属于项目
  • 工作流(Workflow/DAG):可视化拖拽的任务依赖图,定义任务顺序与依赖
  • 任务(Task):最小执行单元(Shell、SQL、Spark 等)
  • 实例(Instance):工作流 / 任务运行时的具体执行记录

二、环境准备

安装 Docker Desktop for Windows。

三、部署Apache DolphinScheduler

Standalone 单机版把所有组件(API、Master、Worker、ZK、H2 内存库)打包在一个容器。

Standalone 单机版仅用于测试,生产必须用 docker-compose 分布式。

(一)拉取DolphinScheduler镜像

打开 PowerShell 直接运行:

docker pull apache/dolphinscheduler-standalone-server:3.4.1

拉取完成之后提示上图,只是安全建议,不是报错。DolphinScheduler 单机版镜像本身可以正常运行,完全可以忽略

(二)运行容器

# 启动容器,映射端口12345(UI)、25333(任务执行)

docker run 
-d 
--name my-dolphinscheduler 
-p 12345:12345 
-p 25333:25333 
-v D:\Docker\docker_volumes\dolphinscheduler_data\dolphinscheduler-db:/tmp/dolphinscheduler/db 
-v D:\Docker\docker_volumes\dolphinscheduler_data\dolphinscheduler-logs:/opt/dolphinscheduler/logs 
-v D:\Docker\docker_volumes\dolphinscheduler_data\dolphinscheduler-resource:/tmp/dolphinscheduler/resource 
apache/dolphinscheduler-standalone-server:3.4.1

参数说明:

-p 12345:12345,主机端口:容器端口,控制台访问的端口。

-p 25333:25333,任务执行端口。

-v D:\Docker\docker_volumes\dolphinscheduler_data\dolphinscheduler-db:/tmp/dolphinscheduler/db,数据卷挂载。

-v D:\Docker\docker_volumes\dolphinscheduler_data\dolphinscheduler-logs:/opt/dolphinscheduler/logs,挂载日志目录。

-v D:\Docker\docker_volumes\dolphinscheduler_data\dolphinscheduler-resource:/tmp/dolphinscheduler/resource,挂载资源文件目录,保存上传的脚本、jar 包等。

四、初次访问

通过浏览器打开:http://localhost:12345/dolphinscheduler/ui

默认账号:admin ,默认密码 dolphinscheduler123,输入之后,点击登录。

五、常用命令

# 查看容器运行状态
docker ps

# 查看实时日志
docker logs -f my-dolphinscheduler

# 停止容器
docker stop my-dolphinscheduler

# 启动已停止的容器
docker start my-dolphinscheduler

# 重启容器
docker restart my-dolphinscheduler

# 删除容器(数据不会丢)
docker rm -f my-dolphinscheduler

以上就是部署Apache DolphinScheduler单机版的整体流程。

更多推荐