【数据预处理与探索性数据分析】探索性数据分析：散点图、直方图

 # 1. 数据预处理与探索性数据分析概述 ## 1.1 数据预处理的重要性 数据预处理是数据分析中的关键步骤，包括数据清洗、数据转换、数据规范化等，它能够确保后续分析的准确性和有效性。在处理复杂数据集时，预处理步骤可以为分析提供一个更加可靠的数据基础。 ## 1.2 探索性数据分析的基本概念 探索性数据分析（EDA）是一个对数据集进行初步审查的过程，旨在发现数据的结构、异常、趋势和关联。通过EDA，我们可以获得对数据集的直观理解，为后续的数据建模和分析工作奠定基础。 ## 1.3 EDA与数据预处理的关系 数据预处理和EDA是相互依赖的。预处理为EDA提供了干净、规范的数据，而通过EDA发现的特征和模式又能指导进一步的数据清洗和转换工作。这两个过程往往需要反复迭代，以达到最佳的数据分析效果。 # 2. 数据清洗技巧 ## 2.1 缺失值的处理 ### 2.1.1 缺失值识别 在数据集中，缺失值是常见的问题之一，它可能由于数据录入错误、数据损坏、数据传输问题或某些数据无法获得等原因造成。识别缺失值是数据清洗的第一步。在Python中，我们可以使用`pandas`库中的`isnull()`函数来检测数据集中的缺失值。 ```python import pandas as pd # 假设我们有一个名为data.csv的数据文件 data = pd.read_csv('data.csv') missing_values = data.isnull() missing_values.head() # 查看数据集的前五行是否包含缺失值 ``` 通过上述代码，我们可以得到一个布尔值DataFrame，其中`True`表示缺失值，`False`表示非缺失值。使用`head()`函数可以查看数据集的前五行，了解哪些列存在缺失值。 ### 2.1.2 缺失值填充方法 识别出缺失值后，下一步是决定如何处理这些缺失值。常见的处理方法有删除含有缺失值的行、填充缺失值、或者使用模型预测缺失值。填充缺失值是常用的方法之一，可以使用均值、中位数、众数或者基于其他变量的预测模型。 ```python # 使用均值填充数值型列的缺失值 data['numeric_column'] = data['numeric_column'].fillna(data['numeric_column'].mean()) # 使用众数填充分类列的缺失值 data['categorical_column'] = data['categorical_column'].fillna(data['categorical_column'].mode()[0]) ``` 在使用均值填充数值型列时，可以使用`fillna()`函数结合`mean()`函数；在使用众数填充分类列时，可以使用`mode()`函数找到众数，并通过索引`[0]`取第一个值进行填充。 ## 2.2 异常值的检测与处理 ### 2.2.1 异常值定义和识别 异常值通常指的是与数据集中的其他数据明显不同的观测值。它们可能是由于测量错误、输入错误或者自然变异造成的。在确定一个值是否为异常值之前，我们首先需要定义异常值。一种常见的方法是使用标准差，即认为超过均值加减三倍标准差范围的值为异常值。 ```python # 计算数值列的均值和标准差 mean_value = data['numeric_column'].mean() std_dev = data['numeric_column'].std() # 定义异常值的范围 lower_bound = mean_value - 3 * std_dev upper_bound = mean_value + 3 * std_dev # 标记异常值 data['is_outlier'] = data['numeric_column'].apply(lambda x: x < lower_bound or x > upper_bound) ``` 在上面的代码中，我们首先计算了数值列的均值和标准差，然后定义了异常值的上下界。最后，我们使用`apply()`函数结合一个lambda表达式创建了一个新的布尔列，用来标记异常值。 ### 2.2.2 异常值的处理策略 处理异常值的方法包括删除含有异常值的行、使用统计方法替换异常值、或者将异常值替换为缺失值后进行填充。选择哪种方法取决于数据的性质和分析的目标。 ```python # 删除含有异常值的行 data_cleaned = data[~data['is_outlier']] # 使用均值替换异常值 data['numeric_column'] = data['numeric_column'].mask(data['is_outlier'], data['numeric_column'].mean()) ``` 在第一种方法中，我们通过布尔索引过滤掉了含有异常值的行。在第二种方法中，我们使用了`mask()`函数，它将满足条件的值替换为指定的值，这里是列的均值。 ## 2.3 数据标准化和归一化 ### 2.3.1 标准化方法 数据标准化是将数据按比例缩放，使之落入一个小的特定区间。标准化后的数据具有均值为0和标准差为1。标准分数（z-score）是常用的标准化方法。 ```python from scipy.stats import zscore # 计算标准化后的数据 data['numeric_column_scaled'] = zscore(data['numeric_column']) ``` 在上述代码中，我们使用了`scipy.stats`模块中的`zscore`函数来计算数据的标准分数，并将结果存储在新的列中。 ### 2.3.2 归一化技术 归一化是将数据按比例缩放，使之落入一个小的区间，通常是在0到1之间。最小-最大归一化是一种常见的归一化方法。 ```python from sklearn.preprocessing import MinMaxScaler # 初始化最小 ```