logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于dataX的数据同步平台搭建

1.项目需求公司要做一个数据中心的项目,包括数据标准平台,数据集成平台,数据监控平台,数据共享平台。主要从两大技术方向去实现:消息队列 – 选型为 Kafka。负责微服务之间实时的消息共享数据同步 – 选型为DataX。数据同步负责大数据量的全量/增量同步,同时也是对消息队列的一种补救措施,即使消息共享失败,在下一次数据同步时,也能够确保全部数据的一致性。过程概括:linux服务器...

基于dataX的数据同步平台搭建

1.项目需求公司要做一个数据中心的项目,包括数据标准平台,数据集成平台,数据监控平台,数据共享平台。主要从两大技术方向去实现:消息队列 – 选型为 Kafka。负责微服务之间实时的消息共享数据同步 – 选型为DataX。数据同步负责大数据量的全量/增量同步,同时也是对消息队列的一种补救措施,即使消息共享失败,在下一次数据同步时,也能够确保全部数据的一致性。过程概括:linux服务器...

到底了