logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Apache SeaTunnel 2.3.7发布:全新支持大型语言模型数据转换

Apache SeaTunnel 2.3.7 的发布,是我们持续提升产品性能和用户体验的重要一步。通过新增功能、优化现有功能以及修复已知问题,我们希望为用户提供更好的数据集成和处理体验。同时,我们也期待有更多的用户和开发者加入到 SeaTunnel 社区中来,共同推动这个开源项目的发展。欢迎下载 SeaTunnel 2.3.7 版本,体验最新功能和改进。如果您在使用过程中有任何问题或建议,欢迎随时

#大数据
可视化任务编排&拖拉拽 | Scaleph 基于 Apache SeaTunnel的数据集成

这次在 6月 Meetup 为大家带来的是Scaleph 基于 Apache SeaTunnel (Incubating) 的数据集成介绍,希望你有所收获。本次演讲主要包括五个部分:Apache SeaTunnel (Incubating) 王奇Apache SeaTunnel Contributor搜索推荐工程师,大数据 Java 开发我最早是从事搜索推荐工作,在团队里面负责维护Dump系统,主

文章图片
#大数据#apache#big data
SeaTunnel连接器V1到V2的架构演进与探究

连接器V2在架构分层上与计算引擎进行解耦,定义了自己的元数据定义以及数据类型定义,在API层和计算引擎层增加了翻译层,将SeaTunnel自定义的数据源通过翻译层接入到引擎中,从而真正实现接口和引擎分离的目的。已经是对接入数据源的高度抽象,在此基础上我们只需要在插件中处理这些数据抽象即可,同时借助于Flink和Spark提供的SQL接口,还可以将每一次处理完的数据注册成表,方便用SQL进行处理,减

#架构#大数据#spark
5分钟教你使用idea调试SeaTunnel自定义插件

在用Apache SeaTunnel研发组件过程中,发现社区关于本地调试SeaTunnel文章过于简单,很多情况没有说明,于是根据自己遇到问题总结这篇文档。,希望对大家有所帮助!使用的引擎为(不需要下载,SeaTunnel中有加载依赖),输入输出方式为:mysql to mysql。

#大数据
第三期【Demo教程】教你使用SeaTunnel把数据从MySQL导到Hive

随着数据技术的快速发展,了解并掌握各种工具和技术变得尤为重要。为此,我们准备在Apache SeaTunnel社区发起如何使用连接器的Demo演示计划,邀请所有热爱数据同步技术的同学分享他们的知识和实操经验!是:如何使用SeaTunnel连接器从MySQL同步到Hive,如果您对此计划感兴趣,也欢迎联系社区运营同学参与Demo录制!无论您是数据工程师、开发者还是技术爱好者,都欢迎您参与并展示您的技

#大数据
Apache SeaTunnel 社区2025年全年计划公布,共同构建下一代数据集成生态

正在全球范围内寻找热爱开源、乐于分享的技术先锋!无论你是开发者、用户、布道者还是行业专家,这里都有属于你的舞台。欢迎社区👏有志之士加入我们,一起推动开源数据集成工具的创新与发展!申请流程:请统一添加联系社区经理🙆‍微信18819063834/邮箱📮。

#大数据
预祝 1024!X2SeaTunnel:一场 AI Coding 与数据平台结合的深度实践

(记录时间非常重要,实现代码的时候,是 2025 年 6 月,当下 AI 的发展是每个月一变,到现在 2025 年 10 月,AI Agent 模式已经可以覆盖更加底层,更加复杂的需求了。就像做 SQL 引擎之间的转换的时候,可以考虑用抽象语法树的方式来做。就像 CPU 很快的时候,硬盘就会成为瓶颈,迭代产品目标的过程中,我们每次的功能验证就是瓶颈,所以我们要有意识地加快功能验证的步骤,比如我在开

#人工智能
Apache SeaTunnel 2.3.7发布:全新支持大型语言模型数据转换

Apache SeaTunnel 2.3.7 的发布,是我们持续提升产品性能和用户体验的重要一步。通过新增功能、优化现有功能以及修复已知问题,我们希望为用户提供更好的数据集成和处理体验。同时,我们也期待有更多的用户和开发者加入到 SeaTunnel 社区中来,共同推动这个开源项目的发展。欢迎下载 SeaTunnel 2.3.7 版本,体验最新功能和改进。如果您在使用过程中有任何问题或建议,欢迎随时

#大数据
SeaTunnel二次开发进阶:企业级复杂场景下的亿万级数据处理与智能容错机制

随着数据来源的不断复杂化及业务需求的快速演进,通用的数据集成框架在实际落地过程中往往面临诸多挑战:数据结构不规范、字段缺失、敏感信息混杂、数据语义不清等问题频繁出现。为了更好地应对这些复杂场景,某上市网络安全龙头企业基于 Apache SeaTunnel 进行了二次开发,构建了一套可扩展、易维护且具备复杂场景的数据处理与智能容错机制。本文将围绕实际功能扩展与设计理念,全面介绍相关技术实现。

文章图片
#开源#大数据
    共 48 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择