机器学习评估模型性能：mlr项目实战指南

机器学习评估模型性能：mlr项目实战指南

前言

在机器学习项目中，模型性能评估是至关重要的环节。mlr作为R语言中强大的机器学习框架，提供了全面且灵活的模型评估功能。本文将深入讲解如何使用mlr进行模型性能评估，涵盖各类学习任务的评估指标及其应用场景。

性能评估指标概述

mlr支持多种学习任务的性能评估指标，每种任务类型都有其特定的评估标准：

分类任务常用指标

• 平均误分类错误率(mmce)
• 准确率(acc)
• 基于ROC分析的指标(AUC等)

回归任务常用指标

• 均方误差(mse)
• 平均绝对误差(mae)

其他任务指标

• 聚类任务：邓恩指数(G1 index)
• 生存分析：一致性指数(cindex)
• 成本敏感预测：误分类惩罚(mcp)

此外，mlr还支持记录训练时间(timetrain)、预测时间(timepredict)等辅助指标。

指标查询与选择

mlr提供了便捷的指标查询功能：

# 查询多分类任务的可用指标
listMeasures("classif", properties = "classif.multi")

# 查询iris数据集任务的适用指标
listMeasures(iris.task)

每个任务类型都有默认评估指标，可通过getDefaultMeasure()函数获取：

# 获取iris任务的默认指标
getDefaultMeasure(iris.task)

# 获取线性回归的默认指标
getDefaultMeasure(makeLearner("regr.lm"))

性能评估实战

回归任务评估示例

以下示例展示如何在BostonHousing数据集上评估GBM模型的性能：

n = getTaskSize(bh.task)
lrn = makeLearner("regr.gbm", n.trees = 1000)
mod = train(lrn, task = bh.task, subset = seq(1, n, 2))
pred = predict(mod, task = bh.task, subset = seq(2, n, 2))

# 计算默认指标(均方误差)
performance(pred)

# 计算指定指标(中位数平方误差)
performance(pred, measures = medse)

# 同时计算多个指标
performance(pred, measures = list(mse, medse, mae))

聚类任务评估示例

聚类任务评估通常需要提供原始任务数据：

lrn = makeLearner("cluster.kmeans", centers = 3)
mod = train(lrn, mtcars.task)
pred = predict(mod, task = mtcars.task)

# 计算G1指数
performance(pred, measures = G1, task = mtcars.task)

分类任务特殊要求

某些分类指标需要特定类型的预测结果。例如AUC指标需要概率预测：

lrn = makeLearner("classif.rpart", predict.type = "prob")
mod = train(lrn, task = sonar.task)
pred = predict(mod, task = sonar.task)

performance(pred, measures = auc)

二元分类的进阶评估

二元分类任务有更丰富的评估方法。

阈值与性能关系分析

通过调整分类阈值，可以分析性能指标的变化：

lrn = makeLearner("classif.lda", predict.type = "prob")
n = getTaskSize(sonar.task)
mod = train(lrn, task = sonar.task, subset = seq(1, n, by = 2))
pred = predict(mod, task = sonar.task, subset = seq(2, n, by = 2))

# 生成阈值-性能数据
d = generateThreshVsPerfData(pred, measures = list(fpr, fnr, mmce))
# 绘制阈值-性能曲线
plotThreshVsPerf(d)

ROC综合评估

mlr提供了全面的ROC相关指标计算：

r = calculateROCMeasures(pred)
r

输出结果包含混淆矩阵及衍生指标，如：

• 真阳性率(TPR)
• 假阳性率(FPR)
• 精确率(Precision)
• 召回率(Recall)
• F1分数等

性能指标对象结构

每个性能指标都是Measure类的对象，可以通过以下方式查看其结构：

# 查看平均误分类错误率的结构
str(mmce)

总结

mlr提供了全面而灵活的性能评估功能，支持：

1. 多种学习任务的评估指标
2. 自定义指标组合
3. 二元分类的进阶分析
4. 直观的性能可视化

掌握这些评估技术，将帮助您更全面地理解模型表现，为模型选择和优化提供可靠依据。