这次在 6月 Meetup 为大家带来的是Scaleph 基于 Apache SeaTunnel (Incubating) 的数据集成介绍，希望你有所收获。本次演讲主要包括五个部分：Apache SeaTunnel (Incubating) 王奇Apache SeaTunnel Contributor搜索推荐工程师，大数据 Java 开发我最早是从事搜索推荐工作，在团队里面负责维护Dump系统，主

点击蓝字 关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于

点击蓝字 关注我们简介SeaTunnel 是 Apache 软件基金会下的一个开源大数据集成工具，为数据集成场景提供灵活易用、易扩展并支持千亿级数据集成的解决方案。SeaTunnel 可以选择 SeaTunnel Zeta [1] 引擎上运行，也可以选择在 Apache Flink 或 Spark 引擎上运行。Seaunnel 为实时(CDC)和批量数据提供高性能数据同步能力。本指南将引导您快速入

郭炜，Apache 基金会成员，Apache DolphinScheduler PMC Member，Apache SeaTunnel Mentor。代立冬，白鲸开源联合创始人，Apache DolphinScheduler PMC Chair & Apache SeaTunnel PMC Member& Mentor，Apache 孵化器导师，Apache Local Community Bei

近日，白鲸开源在 Apache SeaTunnel 周会中宣布把 Web 界面贡献到社区，并制作了短视频简单介绍此次贡献将提供的功能，视频如下????：接下来我带大家了解一下有那些功能。首先演示一下：同步任务定义，可以在这里对需要的任务进行创建于管理。通过画布可以非常直观地观测到当前任务的状态，同时可以检查和修改参数配置，也可快速地查看表结构。同步任务实例，可以看到离线或实时的状态情况。更多关于

Apache SeaTunnel是一个数据集成开发平台，其发展经历了几个重要阶段：ETL时代（90年代）：面向结构化数据库的数据同步，用于构建数据仓库。MPP和分布式技术流行：使用技术如Hive进行数据仓库的构建。此阶段主要使用mapreduce程序进行数据搬运和转换。数据湖技术流行：重视数据集成，强调先同步数据至数据湖仓储，再进行业务面向的转换和设计。CDC，即变更数据捕获，是一种捕获数据库变更

提到数据处理，经常有人把它简称为“ETL”。但仔细说来，数据处理经历了ETL、ELT、XX ETL（例如，Reverse ETL、Zero-ETL）到现在流行的EtLT架构几次更迭。目前大家使用大数据Hadoop时代，主要都是ELT方式，也就是加载到Hadoop里进行处理，但是实时数据仓库、数据湖的流行，这个ELT已经过时了，EtLT才是实时数据加载到数据湖和实时数据仓库的标准架构。

时隔两个月， Apache SeaTunnel 终于迎来大版本更新。此次发布的 2.3.3 版本在功能和性能上均有较大优化改进，其中大家期待已久的 CDC Schema evolution（DDL 变更同步）、主键 Split 拆分、JDBC Sink 自动建表功能、SeaTunnel Zeta 引擎支持 作业配置支持变量替换和传参等都是更新的亮点。这些功能和优化使得 Apache SeaTunn

下面是一段利用 Co-Pilot 辅助开发的小视频，这是 Apache SeaTunnel 开发者日常开发流程中的一小部分。如果你还没有用过 Co-Pilot、ChatGPT 或者私有化大模型帮助你辅助开发的话，未来的 5 年，你可能很快就要被行业所淘汰。因为这些善于使用 AIGC 辅助编程的人可以 10 倍于你的速度开发相应的代码，而你没有这个技能。我并不是危言耸听，读完此文，我相信你对 AIG

这是首个由国人主导并贡献到 ASF 的大数据集成领域的顶级项目，这一里程碑的达成标志着 SeaTunnel 在开源软件开发领域的突破，并为其在技术、社区合作和开放创新方面的卓越表现获得了广泛认可。