python 对多个csv文件分别进行处理的方法

在Python编程中，处理CSV文件是一项常见的任务，特别是在数据分析、数据清洗或日志分析等领域。CSV（Comma Separated Values）格式是一种通用的文件格式，用于存储表格数据。本篇文章将详细讲解如何使用Python对多个CSV文件进行批量处理。 我们需要引入Python中的几个关键库： 1. `glob` 库：用于查找符合特定模式的文件路径名，如这里的`glob.glob('*.csv')`可以找到当前目录下所有以`.csv`结尾的文件。 2. `time` 库：提供与时间相关的函数，如`time.sleep()`用于暂停程序执行一段时间。 3. `csv` 库：Python内建的库，专门用于读取和写入CSV文件。 以下是一个简单的例子，展示了如何遍历并处理多个CSV文件： ```python import glob import time import csv # 获取当前目录下所有CSV文件 csvx_list = glob.glob('*.csv') print(f'总共发现{len(csvx_list)}个CSV文件') # 遍历每个CSV文件 for i in csvx_list: # 打开CSV文件，指定编码为utf-8 csvfile = open(i, encoding='utf-8') # 使用csv.reader读取文件内容，转换为列表 csvreader = list(csv.reader(csvfile)) # 初始化计数器，用于遍历每一行 count = 0 # 处理每行数据 while count < len(csvreader): row = csvreader[count] # 如果行首为'爬取时间'，跳过标题行 if row[0] == '爬取时间': count = count + 1 continue # 数据处理，这里替换空格和换行符 row[35] = row[35].replace(' ', '') row[35] = row[35].replace('\n', '') # 更新计数器 count = count + 1 # 关闭当前CSV文件 csvfile.close() # 将处理后的数据写回原文件 with open(i, 'w', newline='') as f: writer = csv.writer(f) for row in csvreader: writer.writerow(row) print(f'{i}写入成功！') # 输出结束信息 print('写入完毕！') print('10秒钟自动关闭程序！') time.sleep(10) ``` 在这个示例中，我们首先使用`glob.glob('*.csv')`获取当前目录下所有的CSV文件，并打印出文件总数。接着，我们遍历每个文件，打开并读取其内容。如果文件的标题行（假设是第一行）包含“爬取时间”，则跳过这一行。对于其他行，我们修改第35列（假设需要处理），将其中的空格和换行符替换为空。处理完成后，将更新的数据写回原文件。 注意，使用`with open()`结构可以确保文件在操作结束后被正确关闭，即使在处理过程中发生异常。此外，`csv.reader()`将CSV文件内容读取为列表，而`csv.writer()`则负责将处理后的列表内容写回文件。 如果需要查找特定模式的CSV文件，例如所有以`112.csv`结尾的文件，可以使用`glob.glob('*112.csv')`来实现。 总结来说，Python通过`glob`、`time`和`csv`库提供了一套强大且灵活的工具，使得我们可以方便地对多个CSV文件进行批量处理。这在处理大量数据时非常有用，可以节省大量的手动工作。