mysql快速导出导入百万以内条数据

最新推荐文章于 2025-07-17 16:11:37 发布

神奇小白

最新推荐文章于 2025-07-17 16:11:37 发布

阅读量8.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： mysql

本文链接：https://blog.csdn.net/uotail/article/details/90048265

mysql 专栏收录该内容

7 篇文章

订阅专栏

本文分享了一种在数据库测试环境中，从正式数据库高效导入大量数据到测试数据库的优化方法。传统SQL脚本导入方法存在效率低下和内存占用大的问题，通过采用CSV格式数据导入，可以显著提高数据导入速度，实现快速数据迁移。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SQLyog

开发中我们一般有一个测试数据库，一个正式数据库，测试的时候我们需要把正式的数据拉到测试上来测试，

我一开始是把表中的数据导成sql，然后在sqlyog中执行此sql脚本，报错 “内存不足，应用程序将关闭！”

我只好用命令行来导入此sql脚本

mysql -h  39.98.43.224  -P 3306 -uroot -pjf2019BZ
use tsa;
source d:\mydb1.sql;

3万条数据大概执行了半个小时，
他是每插入一行数据就会在控制台上打印已插入一条数据

很慢

然后就了解到cvs格式，发现用cvs格式的数据导入就2秒钟

csv介绍

csv文件是什么？　
csv是最通用的一种文件格式，它可以非常容易地被导入各种PC表格及数据库中。
此文件，一行即为数据表的一行。
生成数据表字段用半角逗号隔开。
csv文件用记事本和excel都能打开，用记事本打开显示逗号，用excel打开，没有逗号了，逗号都用来分列了,还可有Editplus打开。

小编之前在打开一个csv格式文件的时候，由于看那个图标和Excel的文件图标相似，就直接用Excel打开了，结果发觉其中很多的CRC值都发生错误。这个惨痛教训告诉我，虽然csv格式文件可以用Excel来打开，但是由于计算机档案数据转换的原因，会将其CRC之数值改做科学记号方式储存，而造成档案中的 CRC值发生错误。
所以，如果想要查看真实的csv数据，最好使用专用的软件来查看，或者将其转化成Excel的专用格式再使用Excel来打开。

浅谈“CSV”格式文件
“CSV”是逗号分隔文件 (Comma Separated Values) 的首字母英文缩写，是一种用来存储数据的纯文本格式，通常用于电子表格或数据库软件。这种文件格式经常用来作为不同程序之间的数据交互。在 CSV 文件中，数据“栏”以逗号分隔，可允许程序通过读取文件为数据重新创建正确的栏结构，并在每次遇到逗号时开始新的一栏。
CSV其实就是COMMA SEPARATED VALUE的缩写，出现在档案总管中的档案类型是「逗号分格」，依计算机原来的设定，如果直接点选该档案，计算机将以EXCEL的模式开启该档案。但建议您千万不要这么做，因为CSV档如果以EXCEL开启，由于计算机档案数据转换的原因，会将其CRC之数值改做科学记数法方式储存，而造成档案中的CRC值发生错误。如果想一窥CSV档的真实面貌，笔者建议您使用WORDPAD（写字板）或是NOTE（记事本）来开启。也可以先另存为新的EXCEL文档后，再打开EXCEL文档。也是方法之一。开启后的CSV档包含了若干个字段（部分）。
创建CSV文件有许多方法。最常用的方法是用电子表格程序，如Microsoft Excel。在Microsoft Excel中，选择“文件”>“另存为”，然后在“文件类型”下拉选择框中选择“CSV（逗号分隔）(*.csv)”。
CSV格式（即文件后缀为.csv，属于用excel软件可编辑的逗号分隔的一种文件格式），用记事本就能打开。
XLS文件就是Microsoft excel电子表格的文件格式，是二进制的文件只有用EXCEL才能打。

https://wenku.baidu.com/view/c937a5a4284ac850ad0242f0.html
在这里插入图片描述