使用Python(pandas库)处理csv数据

(注：本文写于做毕设期间，有处理大量csv文件的需要，故使用python强大的库资源来处理数据，希望对有需要的你提供帮助和启发） 使用Python(pandas)处理数据 原始数据和处理之后的样式 图中为一个csv文件，待处理的csv文件总共有2410个 原始数据 处理样式 1.导入os、pandas和numpy库 import os import pandas as pd import numpy as np 2.筛选出csv文件中的指定行（列） time = pd.read_csv(info, skiprows=[0], nrows=1, usecols=[6], header=Non 在数据分析领域，Python的pandas库是一个不可或缺的工具，尤其在处理CSV这样的表格数据时，其强大而灵活的功能使得数据预处理变得简单高效。本文主要介绍了如何使用pandas库处理CSV文件，包括读取文件、筛选特定行和列、数据转置以及遍历文件夹中的多个CSV文件。 我们需要导入必要的库，包括os用于文件操作，pandas用于数据处理，以及numpy用于数值计算。在代码中，我们看到`import os`, `import pandas as pd`, 和 `import numpy as np`这三行代码分别导入了这三个库。 接着，我们展示了如何使用pandas的`read_csv()`函数读取CSV文件。这个函数有很多参数可以自定义读取行为，例如： - `skiprows=[0]` 跳过第一行，通常用于忽略表头。 - `nrows=1` 只读取一行数据。 - `usecols=[6]` 仅选择第6列。 - `header=None` 表示没有表头。 在处理数据时，有时我们需要筛选出特定行或列。在例子中，`time`变量读取了CSV文件中第六列的第一行，而`rss`变量读取了第四列的所有数据，但忽略了第一行。 然后，使用numpy的`reshape()`函数将一维数组转换为二维数组，以适应数据处理的需求。`np.size(arr, axis)`函数可以获取数组在指定轴上的大小，这里用于确定转置后的行数和列数。 数据处理完成后，我们将结果存储在`pd.DataFrame`对象中，方便后续的数据操作。在本例中，`data_t`和`data_r`分别存储了处理后的`time`和`rss`数据。 我们通过`os.listdir()`遍历指定文件夹中的所有文件，结合`os.path.abspath()`和`os.path.join()`来获取每个文件的绝对路径。在for循环中，对每个CSV文件进行相同的操作，这样就能批量处理文件夹中的所有CSV文件。 在遍历过程中，可以添加新的列或行。例如，`lb1`创建了一个包含单一列'label'的DataFrame，所有行的值都为'Ex 1.12'。通过`pd.concat()`，我们可以将这个新的列添加到已处理的数据中，形成一个新的DataFrame `database_1`。 使用Python的pandas库处理CSV数据时，可以实现快速读取、筛选、转换和整合数据，非常适合于处理大量数据的情况。在实际应用中，还可以结合其他pandas和numpy的功能，如数据清洗、聚合、分组等，以满足更复杂的数据分析需求。