内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

Mybatis+mysql批量插入性能分析测试

2019-01-06 20:45 出处:清屏网 人气: 评论(0

前言

今天在网上看到一篇文章(后文中的文章指的就是它)

https://www.jianshu.com/p/cce617be9f9e

发现了一种有关于mybatis批量插入的新方法,而且看了文章发现我原来的方法好像有点问题,但是由于文章中使用的环境是sqlserver而我经常使用的是mysql所以还是需要亲自来试试。

环境说明

项目使用springboot mybatis

数据库mysql5.7

使用本地mysql所以网络可以忽略不计

插入对象完全相同,只有id自增

表结构如下:

CREATE TABLE order_test_tab (

id int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',

order_id varchar(20) NOT NULL COMMENT '订单号',

order_name varchar(100) NOT NULL COMMENT '订单名称',

order_status int(1) NOT NULL COMMENT '订单状态',

order_content varchar(255) NOT NULL COMMENT '订单说明',

add_time datetime NOT NULL COMMENT '订单时间',

PRIMARY KEY ( id )

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='测试订单表';

方法说明

我使用了和文章中提到的一样,三种方法进行测试

方法一:

使用for循环调用单条插入

方法二:

在sql中使用foreach进行批量insert

方法三:

使用mybatis的批量插入

结果说明

插入条数 100 500 1000 5000 100000
使用for循环插入 139ms 545ms 839ms 2629ms 31157ms
使用sql foreach插入 55ms 119ms 123ms 329ms 报错
使用批量执行插入 48ms 111ms 239ms 1081ms 19235ms

其中报错是因为sql长度过长超过了max_allowed_packet导致的,报错信息如下:

Error updating database. Cause: com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large (22,700,108 > 4,194,304). You can change this value on the server by setting the 'max_allowed_packet' variable.

从结果我们显然可以看出,使用第二种方式(使用sql foreach插入)效率最高,明显与文章中差距很大,所以mysql和sqlserver还是有很大区别的,估计mysql针对批量插入的语句有过优化

测试说明

1.测试具体插入之前,首先执行删除表中所有数据操作,一个是保证环境完全一致,一个是为了减少第一次连接数据库所带来的性能消耗。

2.执行时间的计算就是在执行sql的前后,创建对象的时间不计算在这之内

3.在使用本地mysql测试完成之后,使用外网服务器的mysql进行测试,测试结果基本一致,时间都略有延长

4.测试代码在: https://github.com/LinkinStars/springBootTemplate/tree/test-batch-insert

其中包含order字样的为测试相关代码,别的是无关代码,入口在test包下的OrderTest.java

结论

批量插入时还是使用sql foreach插入来的效率最高,因为它是整一条sql在执行所以当插入条数很多的时候会出现异常,所以使用这种方式时一定要主动限制插入的最大条数,不然容易出现异常,因为max_allowed_packet即使再大也会有不够用的时候。

同时我们也应该竟可能去避免使用for循环插入数据,因为性能真的很差。

分享给小伙伴们:
本文标签: Mybatismysql性能分析

相关文章

发表评论愿您的每句评论,都能给大家的生活添色彩,带来共鸣,带来思索,带来快乐。

CopyRight © 2015-2016 QingPingShan.com , All Rights Reserved.