MySQL不同插入方式性能对比实验

这篇文章通过实例跟大家介绍了Mysql中几种插入方法的效率对比，这其中包括逐条插入、基于事务的批量插入、单条语句一次插入多组数据以及导入数据文件等四种方法的对比，文中通过实例代码介绍很详细，需要的朋友们下来来一起看看吧。前言最近因为工作的需要，要在Mysql里插入大量的数据大约1000w，目测会比较耗时。所以现在就像测试一下到底用什么插入数据的方法比较快捷高效。下面就针对每一种方法分别测试不同数据...

特性批量插入循环单个插入性能高（减少网络开销、事务管理开销、日志开销）低（多次网络通信、事务管理开销、日志开销）代码简洁性高（一次SQL语句完成所有插入）低（需要循环和多次调用插入方法）错误处理低（所有记录一起处理）高（逐条处理错误）事务管理低（一次性提交所有记录）高（可以逐条提交或分批提交）灵活性低（无法在插入时进行复杂逻辑）高（可以在插入时进行复杂逻辑）适用场景大数据量、性能要求高小数据量、需要灵活处理和错误处理。

MySQL单表插入&查询压力测试

最近做性能测试，需要模拟生产环境的数据量，在插入mysql百万、千万级数据的时候发现直接使用插入sql效率极低，百度了一翻，找到几种方式，但用下来还是有很快速的方式，推荐第四种。

测试数据库schema： drop table ifexists t1; drop table ifexists t2; drop table ifexists t3; create table t1(idint primary key, value1 int, value2 varchar(200)); create index s1 ont1(value1); create tab

文章目录一、前言二、批量插入前准备1、插入到数据表的字段2、计算一行字段占用的空间3、在数据里做插入操作的时候，整体时间的分配三、批量插入数据测试1、SQL语句的大小限制2、查看服务器上的参数：3、计算一次能插入的最大行记录4、测试插入数据比对（1）插入11W条数据，按照每次10,600,1000，20000,80000来测试：（2）加大数据量到24w（3）加大测试量到42W5、如果插入的值就是s...

一、环境 vm虚拟机,centos7,MySQL5.7,jdk8 两台机器是局域网 二、测试代码 数据表：16个分表，表结构是20个字段，15个字段的长度是100个字符填充。 使用java直接连接数据库，用多线程测试，每个线程一个数据库连接，事务自动提交。每个线程完成批量插入后才关闭连接。 mysql没有进行线程优化，都是使用默认配置。 三、测试数据 1、1核，单表，innoDB ...

单条自动提交事务 < 单条手动提交事务 ≈ 批量插入自动提交事务 < 批量插入手动提交事务。

MySql 插入(insert)性能测试     作者：赵磊 博客：http://elf8848.iteye.com   测试环境： 笔记本电脑 CPU：I5  系统：MAC OS 10.7 内存：8G 硬盘：5400转，笔记本硬盘   MySql 版本：Oracle官网下载的mysql-5.5.24-osx10.6-x86_64， 默认安装 MySql JDB...

一般Mysql的客户端和服务端不在一台机器上，所以它们之间的通信需要通过网络进行。我们本次实验，希望抛开网络的影响，测试不同SQL方案在Mysql服务器上的执行效率的对比。于是我们使用“存储过程”来辅助测试。

记录MySQL插入大数据一些方案的测试心得，即for循环插入、拼接SQL语句、批量插入saveBatch()、循环插入 + 开启批处理模式，该4种情况的测试内容，最终以平均耗时来预测各方案的性能问题，可得知开启批处理模式的方案效率是最高的，但是必须注意一个点：一定要开启批处理模式，在URL地址加入rewriteBatchedStatements = true 参数，否则即使是在批量插入情况下，也是无法发挥该方法优点。

昨天被质问了java中sql在执行的时候executeBatch 和 单个提交的性能差异，没有回答出来。以前只是知道有性能差异，但是性能差异具体是啥数量级别还真实没有做过实验。今天抽时间做了一下这个实验 * oracle数据库9i2* 采用proxool连接池管理* 测试的表为很简单的表，总共只有5列* 测试为insert语句，向测试表中插入了3列值* 数据量为1w  

1. 思路分析 批量插入这个问题，我们用 JDBC 操作，其实就是两种思路吧： 用一个 for 循环，把数据一条一条的插入（这种需要开启批处理）。 生成一条插入 sql，类似这种 insert into user(username,address) values(‘aa’,‘bb’),(‘cc’,‘dd’)…。 到底哪种快呢？ 我们从两方面来考虑这个问题： 插入 SQL 本身执行的效率。 网络 I/O。 先说第一种方案，就是用 for 循环循环插入： 这种方案的优势在于，JDBC 中的 Prepa

bulk_insert_buffer_size参数相对增大———用于存放insert语句的缓存空间，增大可以提高insert的速度 对于insert频率较大的表，可以适当删除不常用的索引，可以减少对表索引维护的开销 在业务允许的情况下，也就是说不需要事物机制，建议用myisam引擎，相比较而言，myisam比innodb的批量插入要快很多，当然还有archive引擎，不过这个引擎很少用