机器学习之类别不平衡问题 (2) —— ROC和PR曲线

### 类别不平衡问题下调整机器学习模型评估指标的方法 对于类别不平衡的数据集，传统的准确率不再是有效的评价标准，因为即使模型总是预测多数类也能获得较高的准确率。因此，在这种情况下应采用更加适合的评估指标。 #### 使用混淆矩阵衍生出来的指标 为了更好地理解和量化模型的表现，可以依赖于由混淆矩阵派生出的一系列度量，如精度(Precision)，召回率(Recall)以及F1分数(F1 Score)[^1]： - **Precision (精准率)** 表示被正确识别为正例的比例； - **Recall (召回率)** 反映的是所有实际为正的例子中有多少比例被成功检测出来； - **F1-Score** 是 Precision 和 Recall 的调和平均数，提供了一种综合考量两者平衡性的单一数值表示法。 这些基于混淆矩阵定义的统计量能够帮助我们更全面地认识分类效果，尤其是在面对不均衡分布的任务场景时显得尤为重要。 #### AUC-ROC与PRC的选择依据 除了上述提到的具体数值型指标外，还可以利用图形化的手段来进行直观展示——即接收者操作特征曲线(AUROC)及其对应的曲线下面积(Area Under Curve, AUC)或是精确率-召回率曲线(Precision-Recall Curve, PRC)。当正样本数量稀少或者误报的成本高于漏检时，则建议优先考虑PRC；而在其余大多数情形之下AUROC都是较为理想的选择[^5]。 ```python from sklearn.metrics import precision_recall_curve, auc, roc_curve, roc_auc_score # 计算 PR 曲线并求得 AUPR 值 precision, recall, _ = precision_recall_curve(y_true, y_pred_proba) aupr = auc(recall, precision) # 或者计算 ROC 曲线及 AUROC 值 fpr, tpr, thresholds = roc_curve(y_true, y_pred_proba) roc_auc = roc_auc_score(y_true, y_pred_proba) ``` #### 交叉验证的重要性 考虑到单次划分可能导致偶然偏差的影响，故推荐运用K折交叉验证(K-fold Cross Validation)技术来增强结论稳健性。这种方法不仅有助于获取更为可靠的性能估计值，而且还能有效防止过拟合现象的发生[^3]。 ```python from sklearn.model_selection import cross_val_score scores = cross_val_score(model, X, y, cv=5, scoring='roc_auc') mean_roc_auc = scores.mean() std_roc_auc = scores.std() print(f'Mean ROC-AUC score: {mean_roc_auc:.3f} (+/-{std_roc_auc*2:.3f})') ```