logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

突破单点瓶颈、挑战海量离线任务,Apache Dolphinscheduler在生鲜电商领域的落地实践

惊喜:文末有插件推荐,随着大数据的进一步发展,不管是离线任务量还是实时任务量都变得越来越多,对调度系统的要求也越来越高,不仅要求系统稳定还要求操作简单,上手方便。

文章图片
#apache#大数据#hive +2
跨境电商背景下,DolphinScheduler 在 SHEIN 的二开实践

分享嘉宾:董文彬编辑整理:低代码无代码平台Treelab 张德通SHEIN是一家中国跨境电商巨头公司,也是一家估值千亿的美金独角兽企业。本次分享由SHEIN架构部资深后端开发工程师董文彬介绍海豚调度器 Apache DolphinScheduler(以下简称DS)在SHEIN的使用和二次开发实践。“本次分享将介绍以下四部分内容:SHEIN选择DS的背景和使用DS的实际效果...

#大数据#数据库#java +2
DolphinScheduler Agent 开源上线|从告警到自愈一键闭环,运维终于可以“躺着把活干了”

这套打通「群聊告警→智能诊断→自动恢复→报告闭环」的全链路系统,可以很好地解决传统运维碎片化、高耗时、反复跨系统跳转的痛点。

文章图片
#开源#运维#大数据
Linux 环境下,Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据?

已经在虚拟机部署好Apache DolphinScheduler了,想尝试下在Flink新建一个Flink节点,然后用Flink消费Kafka数据。

文章图片
#linux#apache#flink +2
小白版 | Apache DolphinScheduler 本地启动指南

本文面向希望在本地阅读和调试 DolphinScheduler 核心源码的开发者,示例环境为 Windows + IntelliJ IDEA + Docker Desktop + PostgreSQL + ZooKeeper。

文章图片
#apache#开源#大数据
第 8 篇|Apache DolphinScheduler 与 Flink Spark 数据引擎的边界、协同与最佳实践

在数据平台不断演进的过程中,一个非常常见但又隐蔽的误区是:团队会不自觉地让调度系统承担越来越多“本不属于它”的职责,比如在调度层写复杂业务逻辑、控制计算参数,甚至试图统一管理不同计算引擎的执行细节。短期来看似乎提升了效率,但从长期来看,这种设计往往会让系统变得高度耦合、难以维护,甚至在规模上来之后失去稳定性。

文章图片
#apache#flink#spark +2
新兴数据仓库设计与实践手册:从分层架构到实际应用(三)

缓冲层(也称接口层或Stage层)用于存储每天的增量和变更数据。该层暂存从源系统采集的原始数据,以便后续数据处理和ETL流程的使用。数据仓库的分层设计和模型方法为企业提供了强大的数据管理能力,不仅能够应对复杂的业务需求变化,还能在保障系统稳定性和数据质量的同时提升运营效率。通过合理分层,数据仓库可以高效地存储、处理和分析数据,实现数据价值的最大化。通过三部分的系统性讲解,相信您已经对数据仓库的四层

#大数据
Apache DolphinScheduler 的持续集成方向实践

今天给大家带来的分享是基于 Apache DolphinScheduler 的持续集成方向实践,分享的内容主要为以下六点:“研发效能DolphinScheduler CI/CD 应用案例D...

#编程语言#人工智能#大数据 +2
DolphinScheduler 社区喜讯:两项学生项目入选“开源之夏 2025”!

近日,“开源之夏 2025”项目正式进入公示期,Apache DolphinScheduler 社区传来喜讯!本次共有两项学生项目成功入选,分别聚焦在 Kubernetes 调度优化与插件体系增强方向,展现出社区在调度引擎可扩展性和云原生兼容性方面的持续演进。

文章图片
#sql#数据库#开源 +1
数据调度选型:Apache DolphinScheduler凭什么替代Airflow

去年团队做数据平台选型的时候,老板直接甩出一句话:"Airflow 太重了,运维成本扛不住,找个轻量点的替代品。"

文章图片
#apache#开源
    共 46 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择