Python数据处理047：数据预处理

数据清洗

数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。

数据清洗的目的在于提高数据质量，将脏数据清洗干净，使原数据具有完整性、唯一性、权威性、合法性、一致性等特点。

脏数据在这里指的是对数据分析没有实际意义、格式非法、不在指定范围内的数据。

空值一般表示数据未知、不适用或将在以后添加数据。缺失值是指数据集中某个或某些属性的值是不完整的。

一般空值使用None表示，缺失值使用NaN表示。

Pandas中提供了一些用于检查或处理空值和缺失值的函数或方法。

• 使用isnull()和notnull()函数可以判断数据集中是否存在空值和缺失值。
• 对于缺失数据可以使用dropna()和fillna()方法对缺失值进行删除和填充。

isnull()函数的语法格式如下：

pandas.isnull(obj)

• 上述函数中只有一个参数obj，表示检查空值的对象。
• isnull()函数会返回一个布尔类型的值，如果返回的结果为True，则说明有空值或缺失值，否则为False。（NaN或None映射到True值，其它内容映射到Fal