[转]Mybatis-plus批量插入、批量修改数据saveBatch等速度缓慢

Arebirth博客园: 原文链接

背景

使用mysqlPlus. 不管是updateBatch, 还是saveBatch, 800条左右的数据,
耗时都超过1s以上

尝试更改每次批量处理的数量, 比如:

super.updateBatchById(list,1000);

如果不传第二个参数, mysqlPlus默认是1000. 这个根据调整, 发现低于1000, 耗时增加,1500到2500ms左右, 因为sql分多次执行, 中间IO请求的耗时比较大.
设置为1000(因为总共测试数据都没有1000, 所以没有尝试更大的值), 为900ms到1200ms左右.

这时间太久了,在网上找办法.

处理

最后发现在sql链接后追加: rewriteBatchedStatements=true. 再次尝试, 已经缩减到100ms!

 url: jdbc:mysql://localhost:3306/zgd?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&rewriteBatchedStatements=true

在这里插入图片描述

补充
在看源代码的时候, 发现mybatisPlus会预编译插入的sql, 如果一条记录A,B,C都有值, 则预编译为 values(?,?,?) ,且如果下一条又是三个字段都有值就直接合并一条sql.
但是如果遇到A,B有值,C没有值, 就会重现编译一条sql values(?,?)

所以如果我们查出来的数据,有些字段是null,且不怎么规则的时候,批量save会预编译出很多条sql
要解决这个问题, 一个是可以自己手动设置非null的初始值, 另一种方式是在可能为null的字段上加,insertStrategy = FieldStrategy.IGNORED,fill = FieldFill.DEFAULT, 它表示插入的时候不校验是否为null, 都给你编译一个?占位

在修改之前, 发现打印的日志有很多条编译的insert sql. 修改只有就只有一条 values(?,?,?)

# mysql
Logo
一门面向 Data 和 AI 的低代码、云原生的开源编程语言

无需安装部署，在线快速体验 Byzer

更多推荐

编译时权限控制

前言 权限控制，对于 MLSQL 而言的重要程度可以说是生命线。 MLSQL 需要面对各式各样的资源访问，比如 MySQL, Oracle,HDFS，Hive，Kafka，Sorl，ElasticSearch，Redis，API，Web等等，不同用户对这些数据源（以及表，列）的权限是不一样的。 传统模式是，每个用户都需要有个 proxy user，然后到每个数据源里面给这个 proxy user

avatar Byzer 白泽

Byzer 支持 JDBC 聚合下推

聚合下推PR链接聚合下推 我们知道 Byzer 支持多数据源和联邦查询，可以方便分析师在一个平台上快速的分析来自多种数据源的数据，从而进行灵活的探索式分析。 使用场景和优势 当前 Byzer 中加载数据的方式会拉取明细数据到 spark 中进行聚合计算，对于小数据量或者在分布式文件系统上的数据源来说是常规操作。但是对于 JDBC 数据源或者有分析能力的 OLAP 系统来说拉取明细数据可能就不是最

avatar Byzer 白泽

Byzer 术语表

Byzer-lang Byzer ，又称为 Byzer-lang，一门面向 Data 和 AI 的低代码、云原生的开源编程语言。 Byzer 是一门结合了声明式编程和命令式编程的混合编程语言，其低代码且类 SQL 的编程逻辑配合内置算法及插件的加持，能帮助数据工作者们高效打通数据链路，完成数据的清洗转换，并快速地进行机器学习相关的训练及预测。 Byzer 希望能够提供一套语言、一个引擎，就能覆盖整

avatar Byzer 白泽