
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Mysql亿级数据清洗迁移
Mysql亿级数据清洗迁移本文使用代码做数据清洗和迁移需求:清洗旧表数据并添加新业务数据至新表大致步骤1计算当前数据库写QPS若每秒内可处理200条数据则size设置为2002定义定时任务管理每秒调一次 每次执行200条数据3引入redis根据主键ID排列顺序,存入当前已处理的最后一条数据的主键ID4从redis中获取主键ID5查询从主键ID开始偏移量为size的数据6获取旧数据添加业务数据并插入
到底了







