（1）解决了原有平台算力瓶颈问题，显著地提升了平台整体运行效率原有的最长的数据处理任务需要十几个小时才能完成。同样的任务在新平台上运行 2 – 3 个小时就可以完成）。原有的 hive@cdh 即便已经使用 spark 作为引擎，同样的 job 运行比新平台要慢不止 4-5 倍。（2）数据调度平台和数据处理引擎、数据存储介质完成了架构解耦，显著地提高了平台的健壮性和扩展性原有的平台，数据调度工具

去年团队做数据平台选型的时候，老板直接甩出一句话："Airflow 太重了，运维成本扛不住，找个轻量点的替代品。"

白鲸开源近日成功中标申万宏源证券有限公司的DataOps数据开发运维一体化平台项目。这一合作将为申万宏源带来一系列显著优势：通过提供一站式的高性能数据调度管理方案，我们将显著增强申万宏源的数据管理能力，确保系统的高可用性、高扩展性和高安全性。这不仅将推动申万宏源的业务增长，还将加速其智能化升级进程，为公司的长期繁荣提供新引擎。

作者 | 刘森 卡特加特 大数据工程师Apache DolphinScheduler Contributor最近，有些用户小伙伴反映在使用 Apache DolphinScheduler 资源中心时会遇到问题，社区小伙伴整理了一些常见问题，希望帮大家解决燃眉之急。[WARN]2023-04-2503:02:58.463+0000org.springframework.web.servle...

点击蓝字 关注我们PART01背景OPPO 大数据平台目前有 20+个服务组件，数据量超 1EB，离线任务数近百万，实时任务数千，数据开发分析师超千人。这也带来了系统复杂度的问题，一方面是用户经常对自己的任务运行状况“摸不着头脑”，不管是性能问题，还是参数配置问题，甚至是一些常见的权限报错问题，都需要咨询平台给出具体的解决方案。另一方面是平台面对各类繁杂任务，运维人员经常需要对任务故障定位和排除，

点亮⭐️Star· 照亮开源之路GitHub:https://github.com/apache/dolphinscheduler一、简介用途：任务调度优势：分布式、易扩展、高可靠、可视化的DAG工作流，开箱即用。可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。二、架构【MasterServer】：采用分布式无中心设计理念，Mas...

“大家下午好，我是来自当贝网络科技大数据平台的基础开发工程师王昱翔，感谢社区的邀请来参与这次分享，关于 Apache DolphinScheduler 在当贝网络科技大数据环境中的应用。本次演讲主要包含四个部分：平台建设的背景大数据平台重构大数据调度平台建设下一步规划Apache DolphinScheduler王昱翔当贝大数据平台基础开发工程师毕业于电子科技大学，主要...

即使是像马斯克这样聪明的人，如果没有准备好足够的正确数据，也很难得出准确的结论。

点击蓝字，关注我们????引言大家好，我叫侯世涛，是个人开发者，也是 Apache DolphinScheduler 社区的贡献者，目前在社区参与开发已经有两年时间，欢迎大家跟我交流。本次分享将深入探讨 DolphinScheduler 的自动化补数功能，将详细介绍如何使用补数功能，摆脱手动执行脚本修复数据的繁琐过程，实现数据处理的全自动化。文｜侯世涛编辑整理｜曾辉讲师介绍侯世涛Dolphi...

分享嘉宾：董文彬编辑整理：低代码无代码平台Treelab 张德通SHEIN是一家中国跨境电商巨头公司，也是一家估值千亿的美金独角兽企业。本次分享由SHEIN架构部资深后端开发工程师董文彬介绍海豚调度器 Apache DolphinScheduler（以下简称DS）在SHEIN的使用和二次开发实践。“本次分享将介绍以下四部分内容：SHEIN选择DS的背景和使用DS的实际效果...