Apache Dolphinscheduler 5月Meetup:6个月重构大数据平台,帮你避开调度升级改造/集群迁移踩过的坑...
| 转载自:海豚调度当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况,团队在技术选型之后发现并不适合自己的需求,但是迁移成本和难度又比较大,甚至前团队还留下了不少坑,企业自有的开发能力又比较有限,导致后面的小伙伴上手难度高体验差。俗话说“工具选得好,下班回家早;调度用得对,半夜安心睡”,面对各种难点和痛点:如何有效地评估数...
| 转载自:海豚调度
当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况,团队在技术选型之后发现并不适合自己的需求,但是迁移成本和难度又比较大,甚至前团队还留下了不少坑,企业自有的开发能力又比较有限,导致后面的小伙伴上手难度高体验差。
俗话说“工具选得好,下班回家早;调度用得对,半夜安心睡”,面对各种难点和痛点:
如何有效地评估数据调度工具?
如何平滑的过渡到Apache DolphinScheduler?
如何稳定高效的对已有的工具升级改造?
这几个问题是改善现有状况的重中之重,是保障企业和团队数据调度任务高效运行的引擎。
不论你是处在什么企业,如果你正为数据调度工具的选型或迁移而苦恼;缺乏任务可视化编辑界面、补数和重试等必要功能;甚至连监控和管理功能都没有;
这就说明,你是时候来参加本期Meetup活动啦 !
2022年5月28日,Apache DolphinScheduler 社区邀请了来自当贝科技、Fordeal、JuiceFS社区等企业的资深大数据工程师与开发者,分享他们在技术选型、平台迁移、场景探索、优化与改造 Apache DolphinScheduler 过程中遭遇的问题与挑战。
除此之外,我们还特别邀请到了JuiceFS社区技术专家,跟大家延伸探讨关于设计云文件系统和日志归档场景中Apache DolphinScheduler的实践。无论你是Apache DolphinScheduler的开发工程师还是个人爱好者,来到本次Meetup,你一定能听到一手的分享,得到一手的收获!
Apache DolphinScheduler作为新一代的大数据任务调度系统,致力于让调度变得更加容易。身为一款专门针对于大数据平台的工作调度系统,具有本土化风格和多样化的部署方式。
01
报名通道
Apache DolphinScheduler Meetup | 5 月线上直播报名通道已开启,赶快预约吧!
时间:2022-5-28 14:00-16:10
形式:线上直播
点击原文链接或扫码预约报名(免费):
扫码预约报名
扫码添加群聊
02
议程介绍
王昱翔 当贝大数据平台基础开发工程师
毕业于电子科技大学,主要是做大数据平台的构建、集成及组件的运维的工作
演讲时间:14:00-14:40
演讲题目:Apache DolphinScheduler在当贝大数据环境中的应用
演讲概要:之前当贝的大数据平台用的是Hadoop和CDH混合产物 ,调度用的是Oozie,主要问题是缺少补数和重试机制没有,导致用户上手难体验差,还存在hadoop集群部署混乱和clickhouse混合部署等问题,经过调研后,现在主要用Apache DolphinScheduler解决迁移集群、大数据平台重构、数据迁移、调度告警等问题!
卢栋 Fordeal 大数据开发工程师
5年的数据开发相关经验,目前就职于Fordeal
主要关注的数据技术方向包括:湖仓一体、MPP数据库、数据可视化等
演讲时间:14:40-15:30
演讲题目:数据平台调度升级改造,从Azkaban平滑过渡到Apache DolphinScheduler
演讲概要:Fordeal数据平台调度系统之前是基于Azkaban进行二次开发的,用户层面的问题是缺少任务可视化编辑界面、补数等必要功能,导致用户上手难体验差。技术层面的问题是架构过时持续迭代难度大。经过调研后,新版系统决定基于DolphinScheduler进行升级改造。整个迁移过程中面临最大的问题是如何让使用方平滑过渡到新系统,为了平滑迁移做了哪些升级改造?
15:30-15:35 填写问卷抽奖环节
DS
苏锐Juicedata 合伙人
毕业于西安电子科技大学。在北航攻读硕士期间,作为早期工程师先后在傲游(Maxthon)浏览器、豆瓣任职。2014 年创立上门汽车服务品牌功夫洗车,并任 CEO 带领团队完成两轮融资。2017 年加入 Juicedata 开始新一次创业之旅,公司旗下的核心产品 JuiceFS 是一款面向云环境设计的分布式文件系统,以创新的设计定义了云时代文件存储的架构,服务数字化时代对海量数据、海量文件的存储与计算需求,已落地近百家领先科技企业。
演讲时间:15:35-16:05
演讲题目:设计云文件系统和日志归档场景中DolphinScheduler的实践
演讲概要:介绍什么是云文件系统;介绍设计架构与设计中的思考;如果用云文件系统做日志归档,分享在Nginx和Apache DolphinScheduler中的实践
欢迎大家参与5月28日Apache DolphinScheduler的线上交流会,下午14:00,我们不见不散!
点击阅读原文,免费报名!
相关阅读 | Related Reading
《开源合规指南(企业篇)》正式发布,为推动我国开源合规建设提供参考
“目标->用户->指标”——企业开源运营之道|瞰道@谭中意
开源之夏邀请函——仅限高校学子开启
开源社简介
开源社成立于 2014 年,是由志愿贡献于开源事业的个人成员,依 “贡献、共识、共治” 原则所组成,始终维持厂商中立、公益、非营利的特点,是最早以 “开源治理、国际接轨、社区发展、开源项目” 为使命的开源社区联合体。开源社积极与支持开源的社区、企业以及政府相关单位紧密合作,以 “立足中国、贡献全球” 为愿景,旨在共创健康可持续发展的开源生态,推动中国开源社区成为全球开源体系的积极参与及贡献者。
2017 年,开源社转型为完全由个人成员组成,参照 ASF 等国际顶级开源基金会的治理模式运作。近八年来,链接了数万名开源人,集聚了上千名社区成员及志愿者、海内外数百位讲师,合作了近百家赞助、媒体、社区伙伴。
更多推荐
所有评论(0)