Python Pandas（7）：Pandas 数据清洗_pandas数据清洗-CSDN博客

本文链接：https://blog.csdn.net/qq_40298351/article/details/145543021

数据清洗是对一些没有用的数据进行处理的过程。很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况，如果要使数据分析更加准确，就需要对这些没有用的数据进行处理。数据清洗与预处理的常见步骤：

缺失值处理：识别并填补缺失值，或删除含缺失值的行/列。
重复数据处理：检查并删除重复数据，确保每条数据唯一。
异常值处理：识别并处理异常值，如极端值、错误值。
数据格式转换：转换数据类型或进行单位转换，如日期格式转换。
标准化与归一化：对数值型数据进行标准化（如 Z-score）或归一化（如 Min-Max）。
类别数据编码：将类别变量转换为数值形式，常见方法包括 One-Hot 编码和标签编码。
文本处理：对文本数据进行清洗，如去除停用词、词干化、分词等。
数据抽样：从数据集中抽取样本，或通过过采样/欠采样处理类别不平衡。
特征工程：创建新特征、删除不相关特征、选择重要特征等。

本文使用到的测试数据 property-data.csv 如下：

上表包含了四种空数据：

1 Pandas 清洗空值

如果我们要删除包含空字段的行，可以使用 dropna() 方法，语法格式如下：

DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)

axis：默认为 0，表示逢空值剔除整行，如果设置参数 axis＝1 表示逢空值去掉整列。
how：默认为 'any' 如果一行（或一列）里任何一个数据有出现 NA 就去掉整行，如果设置 how='all' 一行（或列）都是 NA 才去掉这整行。
thresh：设置需要多少非空值的数据才可以保留下来的。
subset：设置想要检查的列。如果是多个列，可以使用列名的 list 作为参数。
inplace：如果设置 True，将计算得到的值直接覆盖之前的值并返回 None，修改的是源数据。

1.1 isnull() 判断各个单元格是否为空

我们可以通过 isnull() 判断各个单元格是否为空。

import pandas as pd

df = pd.read_csv('property-data.csv')

print(df['NUM_BEDROOMS'])
print(df['NUM_BEDROOMS'].isnull())

以上例子中我们看到 Pandas 没有把 n/a 和 NA 当作空数据，不符合我们要求，我们可以指定空数据类型：

import pandas as pd

missing_values = ["n/a", "na", "--"]
df = pd.read_csv('property-data.csv', na_values=missing_values)

print(df['NUM_BEDROOMS'])
print(df['NUM_BEDROOMS'].isnull())