logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

DolphinScheduler 5 月社区更新:用户最有感的 6 件事

与。一方面,Master failover 这类“线上一出问题就影响面很大”的稳定性隐患被补齐;另一方面,API 权限校验、插件依赖冲突、远程任务空指针这类“用着用着就踩坑”的细节也被系统性修复。本月报把 5 月合并到dev分支的重点变化讲清楚,包括你会受哪些影响、要不要升级、怎么验证。

文章图片
#spark#apache
一文搞懂DevOps、DataOps、MLOps、AIOps:所有“Ops”的比较

引言近年来,“Ops”一词在 IT 运维领域的使用迅速增加。IT 运维正在向自动化过程转变,以改善客户交付。传统的应用程序开发采用 DevOps 实施持续集成(CI)和持续部署(CD)。但对于数据密集型的机器学习和人工智能(AI)应用,精确的交付和部署过程可能并不适用。本文将定义不同的“Ops”并解释以下几种:DevOps、DataOps、MLOps 和 AIOps 的工作原理。DevOps这一实

#大数据
DolphinScheduler Agent 开源上线|从告警到自愈一键闭环,运维终于可以“躺着把活干了”

这套打通「群聊告警→智能诊断→自动恢复→报告闭环」的全链路系统,可以很好地解决传统运维碎片化、高耗时、反复跨系统跳转的痛点。

文章图片
#开源#运维#大数据
Linux 环境下,Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据?

已经在虚拟机部署好Apache DolphinScheduler了,想尝试下在Flink新建一个Flink节点,然后用Flink消费Kafka数据。

文章图片
#linux#apache#flink +2
小白版 | Apache DolphinScheduler 本地启动指南

本文面向希望在本地阅读和调试 DolphinScheduler 核心源码的开发者,示例环境为 Windows + IntelliJ IDEA + Docker Desktop + PostgreSQL + ZooKeeper。

文章图片
#apache#开源#大数据
第 8 篇|Apache DolphinScheduler 与 Flink Spark 数据引擎的边界、协同与最佳实践

在数据平台不断演进的过程中,一个非常常见但又隐蔽的误区是:团队会不自觉地让调度系统承担越来越多“本不属于它”的职责,比如在调度层写复杂业务逻辑、控制计算参数,甚至试图统一管理不同计算引擎的执行细节。短期来看似乎提升了效率,但从长期来看,这种设计往往会让系统变得高度耦合、难以维护,甚至在规模上来之后失去稳定性。

文章图片
#apache#flink#spark +2
新兴数据仓库设计与实践手册:从分层架构到实际应用(三)

缓冲层(也称接口层或Stage层)用于存储每天的增量和变更数据。该层暂存从源系统采集的原始数据,以便后续数据处理和ETL流程的使用。数据仓库的分层设计和模型方法为企业提供了强大的数据管理能力,不仅能够应对复杂的业务需求变化,还能在保障系统稳定性和数据质量的同时提升运营效率。通过合理分层,数据仓库可以高效地存储、处理和分析数据,实现数据价值的最大化。通过三部分的系统性讲解,相信您已经对数据仓库的四层

#大数据
Apache DolphinScheduler 的持续集成方向实践

今天给大家带来的分享是基于 Apache DolphinScheduler 的持续集成方向实践,分享的内容主要为以下六点:“研发效能DolphinScheduler CI/CD 应用案例D...

#编程语言#人工智能#大数据 +2
DolphinScheduler 社区喜讯:两项学生项目入选“开源之夏 2025”!

近日,“开源之夏 2025”项目正式进入公示期,Apache DolphinScheduler 社区传来喜讯!本次共有两项学生项目成功入选,分别聚焦在 Kubernetes 调度优化与插件体系增强方向,展现出社区在调度引擎可扩展性和云原生兼容性方面的持续演进。

文章图片
#sql#数据库#开源 +1
数据调度选型:Apache DolphinScheduler凭什么替代Airflow

去年团队做数据平台选型的时候,老板直接甩出一句话:"Airflow 太重了,运维成本扛不住,找个轻量点的替代品。"

文章图片
#apache#开源
    共 40 条
  • 1
  • 2
  • 3
  • 4
  • 请选择