模型评估指标

分类：混淆矩阵/列联表

• 二分类：准确率，召回率，AUC（ROC曲线下的面积），logloss（对预测概率的似然估计），accuracy（概率阈值影响该指标），precision（概率阈值影响该指标）
  • $TP$：正预测为正(预测正确)
  • $TN$：负预测为负(预测正确)
  • $FP$：负预测为正
  • $FN$：正预测为负
  • 预测结果为正的准确率/精度：$\text{准确率/PPV}=\frac{TP}{TP+FP}$
  • 正样本预测的准确率/查全率：$\text{召回率/TPR}=\frac{TP}{TP+FN}$
  • 负样本预测的准确率：$\text{特异度}=\frac{TN}{TN+FP}$
  • 预测结果为负的准确率：$\text{敏感度}=\frac{TN}{TN+FN}$
  • 预测准确率：$\frac{TP+FN}{TP+TN+FP+FN}$
• F值(准确率和召回率的调和均值)
  • $F_1=\frac{2\times \text{准确率}\times \text{召回率}}{\text{准确率}+\text{召回率}}$
  • $F_{\beta }=\frac{(1+{\beta }^2)\times \text{准确率}\times \text{召回率}}{{\beta }^2\times \text{准确率}+\text{召回率}}$
• ROC曲线：FPR(假正率)为x轴，TPR(真正率)为y轴（曲线光滑，基本可以判断没有太大的over fitting）
• PR曲线：召回率R为x轴，准确率P为y轴
• AUC
• 其它指标
  • 交叉熵： H ( p , q ) H(p, q)