logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

数据同步过程中的数据转换——DataX Transformer实践

最近遇到一个需求,需要从一个表里读取数据,并解密其中一个字段,然后写入另一个表中,表的数据量大概是一千多万,一开始直接用MyBatis-Plus3.5.4开始支持的一个流式查询来完成这一功能,但是实践起来发现数据同步的效率十分低;后来采用了DataX自定义Transformer的方式实现了高效数据同步。

文章图片
#java#大数据#big data
到底了