AllData数据中台-离线开发平台(集成DolphinScheduler)-InfluxDB 数据同步到Doris能力演示
摘要:介绍离线开发平台(DolphinScheduler),完成InfluxDB数据同步至Doris演示流程。实现 InfluxDB 数据的高效抽取、格式转换与 Doris 的稳定写入,验证AllData数据中台对多源异构数据库的适配能力、离线数据同步的可靠性及高效性。
AIIData数据中台-离线开发平台集成开源项目DolphinScheduler提供可视化离线任务编排、多源异构数据集成、灵活的定时与依赖调度、全链路监控运维等核心能力,兼容主流计算引擎与各类数据源,可高效完成离线数据抽取、加工、同步、计算全流程作业。
- InfluxDB 版本 1.12.2
一、环境准备
1.启动Seatunnel并进行配置

2、添加以下信息

3、使配置生效

4、进入SEATUNNWEL-HOME 目录

5、下载连接器,执行以下命令

6、下载完成,查看连接器


7、获取 mysql jdbc 连接驱动,并上传到${SEATUNNEL_HOME}/plugins目录下
下载链接: (如需要网盘链接,联系市场总监获取)

二、进入数据源管理平台
1、Influxdb 创建数据库表mydb.cpu, 数据为3条

2、创建Doris库表(无需操作,自动建表)

三、进入离线开发平台


1、配置环境
✅ 打开安全中心

✅ 在左侧菜单选择环境管理

✅ 创建环境

・配置 JDK
・配置 SeatunnelServer
・确定
2、创建任务
✅ 打开项目管理

✅ 创建项目

3、点击项目名称

✅ 打开工作流定义

✅ 创建工作流(找到数据集成 SEATUNNEL,拖拽到画板)


・填写必填项
・页面下滑,找到脚本设置
・加入以下脚本内容

✅ 点击确定保存
✅ 保存工作流


✅ 上线工作流


✅ 暂不配置定时任务,手动触发执行

✅ 运行工作流


✅ 打开工作流实例

✅ 查看工作流运行状态
✅ 打开任务实例

✅ 可以看到任务执行完成
4、数据验证
✅ 同步数据前,查看influxdb,数据库mydb, 表cpu记录为3条。

✅ 同步数据前,查看Doris,没有数据库/表。

✅ 同步数据后,查看Doris,自动创建mydb数据库,cpu表数据为3条。

从依赖配置、数据源注册到工作流编排、数据验证,本文完整呈现 AllData数据中台离线开发平台下 InfluxDB 到 Doris 的同步实操,凸显低代码编排、稳定传输优势,为时序数据的高效分析与价值释放提供可落地的解决方案。
杭州奥零数据科技官网:http://www.aolingdata.com
更多推荐


所有评论(0)