白鲸开源近日成功中标申万宏源证券有限公司的DataOps数据开发运维一体化平台项目。这一合作将为申万宏源带来一系列显著优势：通过提供一站式的高性能数据调度管理方案，我们将显著增强申万宏源的数据管理能力，确保系统的高可用性、高扩展性和高安全性。这不仅将推动申万宏源的业务增长，还将加速其智能化升级进程，为公司的长期繁荣提供新引擎。

作者 | 刘森 卡特加特 大数据工程师Apache DolphinScheduler Contributor最近，有些用户小伙伴反映在使用 Apache DolphinScheduler 资源中心时会遇到问题，社区小伙伴整理了一些常见问题，希望帮大家解决燃眉之急。[WARN]2023-04-2503:02:58.463+0000org.springframework.web.servle...

点击蓝字 关注我们PART01背景OPPO 大数据平台目前有 20+个服务组件，数据量超 1EB，离线任务数近百万，实时任务数千，数据开发分析师超千人。这也带来了系统复杂度的问题，一方面是用户经常对自己的任务运行状况“摸不着头脑”，不管是性能问题，还是参数配置问题，甚至是一些常见的权限报错问题，都需要咨询平台给出具体的解决方案。另一方面是平台面对各类繁杂任务，运维人员经常需要对任务故障定位和排除，

点亮⭐️Star· 照亮开源之路GitHub:https://github.com/apache/dolphinscheduler一、简介用途：任务调度优势：分布式、易扩展、高可靠、可视化的DAG工作流，开箱即用。可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。二、架构【MasterServer】：采用分布式无中心设计理念，Mas...

“大家下午好，我是来自当贝网络科技大数据平台的基础开发工程师王昱翔，感谢社区的邀请来参与这次分享，关于 Apache DolphinScheduler 在当贝网络科技大数据环境中的应用。本次演讲主要包含四个部分：平台建设的背景大数据平台重构大数据调度平台建设下一步规划Apache DolphinScheduler王昱翔当贝大数据平台基础开发工程师毕业于电子科技大学，主要...

即使是像马斯克这样聪明的人，如果没有准备好足够的正确数据，也很难得出准确的结论。

点击蓝字，关注我们????引言大家好，我叫侯世涛，是个人开发者，也是 Apache DolphinScheduler 社区的贡献者，目前在社区参与开发已经有两年时间，欢迎大家跟我交流。本次分享将深入探讨 DolphinScheduler 的自动化补数功能，将详细介绍如何使用补数功能，摆脱手动执行脚本修复数据的繁琐过程，实现数据处理的全自动化。文｜侯世涛编辑整理｜曾辉讲师介绍侯世涛Dolphi...

分享嘉宾：董文彬编辑整理：低代码无代码平台Treelab 张德通SHEIN是一家中国跨境电商巨头公司，也是一家估值千亿的美金独角兽企业。本次分享由SHEIN架构部资深后端开发工程师董文彬介绍海豚调度器 Apache DolphinScheduler（以下简称DS）在SHEIN的使用和二次开发实践。“本次分享将介绍以下四部分内容：SHEIN选择DS的背景和使用DS的实际效果...

北京白鲸开源科技有限公司（以下简称"白鲸开源"）荣幸宣布，白鲸开源旗下产品 WhaleStudio V2.4 已成功通过与麒麟软件有限公司旗下的银河麒麟高级服务器操作系统产品的兼容性测试。麒麟软件有限公司的银河麒麟高级服务器操作系统(飞腾版)V10和银河麒麟高级服务器操作系统(鲲鹏版)V10。这一兼容认证确保了产品在性能、可靠性以及通用兼容性方面满足用户的关键性应用需求。

Air2phin 是一个基于规则的 AST 转换器，提供了从 Airflow dag 文件转成 pydolphinscheudler 定义文件的功能。其使用 LibCST 解析和转换 Python 代码，并使用 Yaml 文件定义转换规则。他是一个协助用户完成转化的工具，并非是一键转化工具。大部分 Airflow 的用户都会自定义部分 operator，想要转化这部分的 operator 需要用户