logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

客户案例 | 某大型综合性券商借助白鲸开源产品打造全链路智能调度与数据集成平台

在数字化转型加速的今天,金融行业正面临前所未有的数据挑战:数据量指数级增长、任务调度日益复杂、数据源类型多样化、处理链路不断延长。某证券公司,作为国内领先的综合性券商,面向内部高强度的 IT 运维与业务流程自动化需求,构建了覆盖调度控制与数据集成的双引擎体系。

文章图片
#开源#大数据
数据同步工具调研选型:SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品,支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据,已应用于数百家企业生产,也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目。SeaTunnel 主要解决数据集成领域的常见问题:数据源多样:常用的数据源有数百种,版本不兼容。随着新技术的出现,出现了更多的数据源。用户很难找到能够全面快速支持这些数据

#大数据
Apache SeaTunnel 自定义连接器适配华为大数据平台集成组件ClickHouse

Connector-JDBC模块使用自动服务加载器(ServiceLoader)实现方言组件的自动加载(目前大部分开源组件都会使用类似机制以提高程序的可扩展性)。同时华为增强的ClickHouse版本是基于ELB(Elastic Load Balance)的HA部署架构,需要通过Https协议访问高可用的ELB节点。基于通用性的考虑,采用增强Connector-JDBC的方式,使该连接器兼容华为增

#大数据
Apache SeaTunnel 成都 Meetup 圆满落幕,技术精英齐聚共襄大数据新篇章

2023年4月15日,一场别开生面的大数据盛会在成都春日阳光下圆满落幕。由ApacheDolphinScheduler和Apache SeaTunnel社区联合主办,批流一体与大数据最佳实践技术主题活动在成都成功举办。此次活动吸引了50+大数据领域的技术爱好者、行业精英和专家齐聚一堂,共同探讨大数据调度、数据集成等前沿技术和最佳实践。活动开始,白鲸开源高级社区经理曾辉进行了活动开场,对来到现场参.

#大数据#apache#hadoop +2
新兴数据湖仓手册·从分层架构到数据湖仓架构(2025):数据仓库分层的概念与设计

数据仓库通过分层结构,使得每层数据都有特定的应用范围和职能,从而保证数据结构层次更清晰,结构更明确。使用时,数据表的层级划分能帮助用户快速理解和定位相关数据,减少查询复杂性。

文章图片
#架构#数据仓库#数据库 +2
速进!SeaTunnel 2.3.11 用 Docker 部署,实现 Kafka 同步 Hive/ES

本文档详细介绍如何使用 Docker 部署 SeaTunnel 2.3.11,并配置 Kafka 虚拟表、数据源以及 Kafka 同步到 Hive 和 Elasticsearch 的完整实战案例。

文章图片
#docker#kafka#hive +2
Apache SeaTunnel Zeta、Flink、Spark 怎么选?底层原理 + 实战对比一次讲透

本文档将深入解析 Apache SeaTunnel 支持的三大执行引擎:Zeta (SeaTunnel Engine)、Flink 和 Spark。我们将从架构设计、核心特性、优缺点对比以及使用方法等多个维度进行详细讲解,帮助你根据业务需求选择最合适的引擎。

文章图片
#apache#flink#spark +2
(五)数据仓库越做越乱?问题可能出在“命名”上

数据仓库做大之后,最先“失控”的往往不是数据,而是命名。命名规范看似细节,却直接决定了数据是否好找、好用、好维护。

文章图片
#数据仓库#大数据#spark +2
Apache SeaTunnel AI CLI Benchmark:7 款大模型、100 个 ETL 任务实测,谁真正能跑起来?

本次实验在统一的 100 个 SeaTunnel ETL 任务上,对 7 个模型进行测试。任务覆盖 20 个 Tier 1 基础同步任务、45 个 Tier 2 转换/CDC/参数约束任务,以及 35 个 Tier 3 复杂 DAG 任务;验证依次经过 L1 静态配置校验、L2 CLI/OptionRule 校验和 L3 Docker 化真实执行环境验证。L1 静态验证结果L1 用于验证模型能否生

文章图片
#apache#人工智能#etl +1
速看!用 Apache SeaTunnel 轻松实现数据到 S3 Tables 的快速集成

本文将介绍如何使用 Apache SeaTunnel ,一个高性能、分布式的大规模数据集成工具,通过兼容 Iceberg rest catalog 的实现对接 S3 Tables 实现实时和批量数据集成。

文章图片
#apache#大数据
    共 95 条
  • 1
  • 2
  • 3
  • 10
  • 请选择