logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Apache SeaTunnel:新一代高性能、分布式、海量数据集成工具从入门到实践

本文介绍Apache SeaTunnel 以及关于Apache SeaTunnel的部署和使用。Apache SeaTunnel是新一代高性能、分布式、海量数据集成工具,支持上百种数据源 ( Database/Cloud/SaaS ) 支持海量数据的实时 CDC 和批量同步,可以稳定高效地同步万亿级数据,

文章图片
#apache#分布式#大数据
十款开源数据集成工具,总有一款适合你

DataX完成单个数据同步的作业,我们称之为Job,DataX接受到一个Job之后,将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点,承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后,会根据不同的源端切分策略,将Job切分成多个小的Task(子任务),以便于并发执行。Task便是DataX作业

文章图片
#开源
到底了