python-批量插入数据

最新推荐文章于 2025-02-07 17:42:39 发布

原创最新推荐文章于 2025-02-07 17:42:39 发布 · 936 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #python #大数据 #数据库开发

本文介绍了一个使用Python编程实现的自动化脚本，用于从Excel文件中读取数据，检查是否已存在于MySQL数据库，若不存在则插入，存在则更新。展示了如何通过pandas和SQL连接操作简化数据处理任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

是不是在工作中经常会遇到各种数据需要我们处理然后将所需要的数据最终写入数据库这种事情呢？如果我们手工来完成重复性的工作会很耽误时间，下面我们看看程序如何简化帮助我们完成这些工作：

实例需求：如果已有人员权限表（已提供excel表），想查看这些人是否存在于数据库表user用户表中，如果存在则跳过，否则将这个用户插入到表中。（批量查询写入操作）

【已提供的数据源文件格式如下】：

【程序实现】：

一、连接mysql数据库

# 与数据库创建连接
conn=pymysql.connect(user='***',password='***',host='***',database='***',port=***)

# 使用cursor()方法获取操作游标
c = conn.cursor()

二、读取数据源

FilePath = r'C:\Users\111yao\Desktop\权限限.xls'  # 用例路径

# 1.打开excel文件
wkb = xlrd.open_workbook(FilePath)
# 2.获取sheet
sheet = wkb.sheet_by_index(0)  # 获取第一个sheet表数据
# 3.获取总行数
rows_number = sheet.nrows
# 4.遍历sheet表中所有行的数据，并保存至一个空列表cap[]
cap = []
for i in range(rows_number):
    x = sheet.row_values(i)  # 获取第i行的值（从0开始算起）
    cap.append(x)

三、将已获取的数据源数据写入表中

for Stu in cap:
    user_id = str(Stu[0])
    user_name = str(Stu[1])
    status = Stu[2]
    a = user_id[:8]
    # 使用f-string格式化字符串，对sql进行赋值
    c.execute(f"SELECT user_id FROM 用户表 WHERE user_id={a}")
    result = c.fetchone()
    if result is None:
        # 如果表中不存在该用户则直接插入到数据库
        c.execute(f"INSERT INTO 用户表(user_id, user_name, status) value ('{a}','{user_name}','{status}')")
        conn.commit()
    else:
        # 如果表中存在该用户，但用户状态为0或姓名为空则将数据更新替换
        c.execute(f"update 用户表 set status=1,user_name='{user_name}'  where user_id={a}")
        conn.commit()

conn.close()
print("插入数据完成！")

这样就完成批量数据的写入了，是不是很简单？还不快来试试