logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Mysql亿级数据清洗迁移

Mysql亿级数据清洗迁移本文使用代码做数据清洗和迁移需求:清洗旧表数据并添加新业务数据至新表大致步骤1计算当前数据库写QPS若每秒内可处理200条数据则size设置为2002定义定时任务管理每秒调一次 每次执行200条数据3引入redis根据主键ID排列顺序,存入当前已处理的最后一条数据的主键ID4从redis中获取主键ID5查询从主键ID开始偏移量为size的数据6获取旧数据添加业务数据并插入

#mysql#redis#数据库
到底了