
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
本文整理自白鲸开源联合创始人,Apache DolphinScheduler PMC Chair,Apache Foundation Member 代立冬的演讲。主要介绍了DolphinScheduler及其架构、DolphinScheduler与OceanBase 的联合大数据方案。
参数说明后N 年前N 年后N 月前N 月后N 周前N 周后N 天前N 天后N 小时前N 小时后N 分钟前N 分钟Apache DolphinScheduler 提供了丰富的功能和灵活的配置选项,使其成为处理复杂工作流和数据管道的理想工具。无论是在参数传递、资源管理,还是在告警通知和项目自动化方面,DolphinScheduler 都能提供强大的支持。通过本文的介绍,希望能帮助您更深入地理解 Dol
Apache DolphinScheduler 的高效云原生部署模式,比原始部署模式节省了95%以上的人力资源和工作时间,提升了部署效率和成本效益。通过集成 GitOps 技术,我们提升了Apache DolphinScheduler 的 DevOps 管理能力,改善了软件交付效率和安全审计能力。通过集成新的云原生技术,我们为 Apache DolphinScheduler 增加了水平扩展、健康探
纵观2023年中国数据行业发展与2024年数据产业趋势,就不得不提到2023年全年国家全年强调的数据要素的概念以及在2023年12月中国国家数据局等17个部门联合印发了《“数据要素×”三年行动计划(2024—2026年)》。从2020年-2023年政策发展脉络来看,政府整体思路上让数据要素成为企业的“新能源”,从而促进企业数智化发展活力,带动整体上下游整体产业升级。那么,数据要素与数据商融资真的可
Air2phin 是一个基于规则的 AST 转换器,提供了从 Airflow dag 文件转成 pydolphinscheudler 定义文件的功能。其使用 LibCST 解析和转换 Python 代码,并使用 Yaml 文件定义转换规则。他是一个协助用户完成转化的工具,并非是一键转化工具。大部分 Airflow 的用户都会自定义部分 operator,想要转化这部分的 operator 需要用户
曾辉, 组织者Apache DolphinScheduler读完需要9分钟随着大数据技术的快速发展,处理海量数据已经成为许多企业面临的挑战。批处理与流处理分别是两种处理大数据的方式,然而,随着业务场景的多样化,企业对实时数据处理的需求日益增加,批流一体处理逐渐成为行业发展的新趋势。同时,大数据调度在确保数据处理流程顺利运行方面发挥着至关重要的作用。????成都的大数据工程师们,为了让大家深入了解批
今天我分享的主题是大数据开发Studio,我们会使用ApacheDolphinScheduler 和两款开源的 Notebook。我将介绍如何采用开源的 Apache Dolphin Scheduler调度工具和 Apache Zeppelin 以及 Jupyter 两种交互式 Notebook 组成大数据开发 Studio,提供线上开发/调试能力,避免开发环境不一致造...
点击上方蓝字关注我们作者 | 宋哲琦✎编 者 按在不久前的 Apache DolphinScheduler Meetup 2021 上,有赞大数据开发平台负责人宋哲琦带来了平...
各位联童 IT MAN 大家好!列车长近日收到一篇来自大数据团队 - 张永清同学的原创投稿,这位多本畅销书的作者今天为大家分享了联童基于 incubator-dolphinsc...







