logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

可视化任务编排&拖拉拽 | Scaleph 基于 Apache SeaTunnel的数据集成

这次在 6月 Meetup 为大家带来的是Scaleph 基于 Apache SeaTunnel (Incubating) 的数据集成介绍,希望你有所收获。本次演讲主要包括五个部分:Apache SeaTunnel (Incubating) 王奇Apache SeaTunnel Contributor搜索推荐工程师,大数据 Java 开发我最早是从事搜索推荐工作,在团队里面负责维护Dump系统,主

文章图片
#大数据#apache#big data
客户案例 | 某大型综合性券商借助白鲸开源产品打造全链路智能调度与数据集成平台

在数字化转型加速的今天,金融行业正面临前所未有的数据挑战:数据量指数级增长、任务调度日益复杂、数据源类型多样化、处理链路不断延长。某证券公司,作为国内领先的综合性券商,面向内部高强度的 IT 运维与业务流程自动化需求,构建了覆盖调度控制与数据集成的双引擎体系。

文章图片
#开源#大数据
SeaTunnel连接器V1到V2的架构演进与探究

连接器V2在架构分层上与计算引擎进行解耦,定义了自己的元数据定义以及数据类型定义,在API层和计算引擎层增加了翻译层,将SeaTunnel自定义的数据源通过翻译层接入到引擎中,从而真正实现接口和引擎分离的目的。已经是对接入数据源的高度抽象,在此基础上我们只需要在插件中处理这些数据抽象即可,同时借助于Flink和Spark提供的SQL接口,还可以将每一次处理完的数据注册成表,方便用SQL进行处理,减

#架构#大数据#spark
5分钟教你使用idea调试SeaTunnel自定义插件

在用Apache SeaTunnel研发组件过程中,发现社区关于本地调试SeaTunnel文章过于简单,很多情况没有说明,于是根据自己遇到问题总结这篇文档。,希望对大家有所帮助!使用的引擎为(不需要下载,SeaTunnel中有加载依赖),输入输出方式为:mysql to mysql。

#大数据
第三期【Demo教程】教你使用SeaTunnel把数据从MySQL导到Hive

随着数据技术的快速发展,了解并掌握各种工具和技术变得尤为重要。为此,我们准备在Apache SeaTunnel社区发起如何使用连接器的Demo演示计划,邀请所有热爱数据同步技术的同学分享他们的知识和实操经验!是:如何使用SeaTunnel连接器从MySQL同步到Hive,如果您对此计划感兴趣,也欢迎联系社区运营同学参与Demo录制!无论您是数据工程师、开发者还是技术爱好者,都欢迎您参与并展示您的技

#大数据
Apache SeaTunnel 社区2025年全年计划公布,共同构建下一代数据集成生态

正在全球范围内寻找热爱开源、乐于分享的技术先锋!无论你是开发者、用户、布道者还是行业专家,这里都有属于你的舞台。欢迎社区👏有志之士加入我们,一起推动开源数据集成工具的创新与发展!申请流程:请统一添加联系社区经理🙆‍微信18819063834/邮箱📮。

#大数据
预祝 1024!X2SeaTunnel:一场 AI Coding 与数据平台结合的深度实践

(记录时间非常重要,实现代码的时候,是 2025 年 6 月,当下 AI 的发展是每个月一变,到现在 2025 年 10 月,AI Agent 模式已经可以覆盖更加底层,更加复杂的需求了。就像做 SQL 引擎之间的转换的时候,可以考虑用抽象语法树的方式来做。就像 CPU 很快的时候,硬盘就会成为瓶颈,迭代产品目标的过程中,我们每次的功能验证就是瓶颈,所以我们要有意识地加快功能验证的步骤,比如我在开

#人工智能
预祝 1024!X2SeaTunnel:一场 AI Coding 与数据平台结合的深度实践

(记录时间非常重要,实现代码的时候,是 2025 年 6 月,当下 AI 的发展是每个月一变,到现在 2025 年 10 月,AI Agent 模式已经可以覆盖更加底层,更加复杂的需求了。就像做 SQL 引擎之间的转换的时候,可以考虑用抽象语法树的方式来做。就像 CPU 很快的时候,硬盘就会成为瓶颈,迭代产品目标的过程中,我们每次的功能验证就是瓶颈,所以我们要有意识地加快功能验证的步骤,比如我在开

#人工智能
    共 51 条
  • 1
  • 2
  • 3
  • 6
  • 请选择