Python使用SQLite插入大量数据耗时问题

最新推荐文章于 2025-06-06 19:22:07 发布

斯玛特刚

最新推荐文章于 2025-06-06 19:22:07 发布

阅读量8.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python 数据库 sqlite

本文链接：https://blog.csdn.net/zxg_1991/article/details/78870446

本文探讨了在Python中使用SQLite数据库时遇到的大规模数据插入耗时问题。通过显式使用事务、调整写同步设置（如将synchronous设为OFF），可以显著提高数据插入的效率，减少I/O操作带来的延迟。实验表明，这些方法有效减少了插入时间，提升了数据库性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

使用Python爬虫代理IP时，最先使用了sqlite作为存储ip数据库，sqlite简单、灵活、轻量、开源，和文件系统一样。而当大量插入爬取的数据时，出现了严重的耗时，查看一起资料后，发现：sqlite在每条insert都使用commit的时候，就相当于每次访问时都要打开一次文件，从而引起了大量的I/O操作，耗时严重。
下面是每次插入后，提交事务处理，每次插入的时间，单位是秒。

    def insert(self, sql, data):
        '''
        insert data to the table
        :param sql:
        :param data:
        :return:
        '''
        if sql is not None and sql != '':
            if data is not None</