logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Apache SeaTunnel 2.3.7发布:全新支持大型语言模型数据转换

Apache SeaTunnel 2.3.7 的发布,是我们持续提升产品性能和用户体验的重要一步。通过新增功能、优化现有功能以及修复已知问题,我们希望为用户提供更好的数据集成和处理体验。同时,我们也期待有更多的用户和开发者加入到 SeaTunnel 社区中来,共同推动这个开源项目的发展。欢迎下载 SeaTunnel 2.3.7 版本,体验最新功能和改进。如果您在使用过程中有任何问题或建议,欢迎随时

#大数据
SeaTunnel二次开发进阶:企业级复杂场景下的亿万级数据处理与智能容错机制

随着数据来源的不断复杂化及业务需求的快速演进,通用的数据集成框架在实际落地过程中往往面临诸多挑战:数据结构不规范、字段缺失、敏感信息混杂、数据语义不清等问题频繁出现。为了更好地应对这些复杂场景,某上市网络安全龙头企业基于 Apache SeaTunnel 进行了二次开发,构建了一套可扩展、易维护且具备复杂场景的数据处理与智能容错机制。本文将围绕实际功能扩展与设计理念,全面介绍相关技术实现。

文章图片
#开源#大数据
Apache SeaTunnel 2.3.9 正式发布:多项新特性与优化全面提升数据集成能力

近日,ApacheSeaTunnel社区正式发布了最新版本。本次更新新增了等多个功能更新!作为一款开源、分布式的数据集成平台,本次版本通过新增功能、性能优化与问题修复,为开发者与企业用户带来了更加全面的支持。👇👇重要功能解读,可以观看视频👇👇。

文章图片
#大数据
Apache SeaTunnel 2.3.12 发布!核心引擎升级、连接器生态再扩张

近期,Apache SeaTunnel 2.3.12 正式发版。这是继 2.3.11 之后的又一次迭代,本周期合并 82 个 PR,提供 9 项新特性、30+ 项功能增强、20+ 处文档修正,并修复 43 个 Bug。核心改进集中在 SensorsData 与 Databend 生态接入,Paimon、ClickHouse、MaxCompute 等连接器读写能力扩充,SQL Transform 语

#apache
探索在Apache SeaTunnel上使用Hudi连接器,高效管理大数据的技术

Apache Hudi是一个数据湖处理框架,通过提供简单的方式来进行数据的插入、更新和删除操作,Hudi能够帮助数据工程师和科学家更高效地处理大数据,并支持实时查询。

#大数据
当数据消费者从人变成 Agent,所有软件都将被改写!

在经历了半个世纪的数据仓库演进后,企业的数智化转型正迎来一次真正意义上的范式重构。

文章图片
#开源#大数据#数据仓库
教程 | 使用 Apache SeaTunnel 同步本地文件到阿里云 OSS

每个 Source 都有自己特定的参数来定义如何取数据,SeaTunnel 也提取了每个 source 会用到的参数,比如parameter,用来指定 result_table_name 当前 source 产生的数据的名称,方便供其他模块后续使用。如下红色部分是开通了 HDFS 后的,被 “#” 注释掉的是未开通 HDFS 的情况。SeaTunnel 支持海量数据的高效离线/实时同步, 每天可稳

#大数据
代立冬:基于Apache Doris+SeaTunnel 实现多源实时数据仓库解决方案探索实践

Apache SeaTunnel 的整体架构是无中心化的,类似于 DolphinSchedule 的设计,已经是非常成熟的一个架构了。这种设计可以保证数据从源到目标的流畅传输。它的核心思想是将任务分解成多个 pipeline,如果某个链条出现问题,用户只需回滚相应的链条,而不是整个作业。这种设计在时间和资源成本上更加节约,同时也提高了性能。

#大数据
映客基于Apache SeaTunnel 打造高效的一站式数据集成平台

参数用来配置当前任务的超时时间,一般当系统中任务较多或节点负载较高时,在任务发布时系统会自动抽取相关任务一周内执行记录,通过分析该执行记录(执行消耗资源,消耗时间等)进行。通过以上配置平台生成一个任务并分发到集群中,并执行设置的内容,在该 DSL 中我们设置的是 SQL,平台会在集群中去执行我们输入的 SQL 内容。当然包含了整个任务的生命周期,从任务的构建到任务的结束以及数据的落地都有实时响应以

#大数据
Apache SeaTunnel 2.3.10 正式发布 —— 全新功能与多项改进,助力数据集成再升级!

Apache SeaTunnel 2.3.10 版本在功能、性能和稳定性上都实现了显著提升,我们相信这些改进能够为您的数据集成和大数据处理工作带来更多便利。社区成员和贡献者的辛勤付出!感兴趣的朋友可以下载最新版试用,体验全新升级的Apache SeaTunnel,让我们一起推动数据集成技术的持续进步!

文章图片
#apache
    共 69 条
  • 1
  • 2
  • 3
  • 7
  • 请选择