MAPIE项目中的置信度评分理论详解

MAPIE项目中的置信度评分理论详解

引言

在机器学习模型的预测不确定性量化领域，置信度评分(Conformity Scores)是构建预测区间的核心组件。本文将深入解析MAPIE库中实现的三种主要置信度评分方法，帮助读者理解其数学原理和应用场景。

置信度评分基础概念

置信度评分函数s(X,Y)∈ℝ的核心要求是：较大的评分值应表示X与Y之间较差的匹配程度。MAPIE通过BaseRegressionScore基类实现了这一抽象概念，支持用户自定义评分方法。

评分方法可分为两类：

• 对称评分：在计算预测区间边界时需要同时计算分布左右两侧的分位数
• 非对称评分：仅需计算单侧分位数

1. 绝对残差评分（Absolute Residual Score）

实现类：AbsoluteConformityScore

数学表达式：

|Y-μ̂(X)|

预测区间计算：

[μ̂(X) - q(s), μ̂(X) + q(s)]

其中q(s)是置信度分数在(1-α)水平的分位数。

特点：

• 默认采用对称评分策略
• 产生固定宽度的预测区间
• 计算简单直接，是回归问题中最常用的基础评分方法

适用场景：当预测误差在不同区域分布均匀时，这种简单方法效果良好。

2. Gamma评分（Gamma Conformity Score）

实现类：GammaConformityScore

数学表达式：

|Y-μ̂(X)|/μ̂(X)

预测区间计算：

[μ̂(X)*(1 - q(s)), μ̂(X)*(1 + q(s))]

特点：

• 默认采用非对称评分策略
• 产生与预测值成比例的区间宽度
• 不确定性随预测值增大而增大

适用场景：适用于预测目标值范围较大，且期望不确定性随预测值规模变化的场景，如金融预测、销售预测等。

3. 残差归一化评分（Residual Normalised Score）

实现类：ResidualNormalisedScore

数学表达式：

|Y-μ̂(X)|/σ̂(X)

其中σ̂(X)是额外训练的模型，用于预测基模型在X处的残差。

预测区间计算：

[μ̂(X) - q(s)*σ̂(X), μ̂(X) + q(s)*σ̂(X)]

特点：

• 默认采用对称评分策略
• 需要训练辅助模型σ̂
• 区间宽度与输入特征X相关
• 仅适用于分折(分折)方法

适用场景：当预测误差在不同特征区域有明显差异时，这种方法能提供更精确的不确定性估计。

方法对比与选择指南

| 评分方法 | 区间特性 | 计算复杂度 | 适用场景 | |---------|---------|-----------|---------| | 绝对残差 | 固定宽度 | 最低 | 误差分布均匀的简单问题 | | Gamma评分 | 比例宽度 | 中等 | 预测值范围大的比例问题 | | 残差归一化 | 自适应宽度 | 最高 | 误差与特征相关的复杂问题 |

实践建议

1. 从简单开始：首先尝试绝对残差评分，作为基准方法
2. 考虑数据特性：如果预测值范围很大，考虑Gamma评分
3. 复杂场景：当有足够计算资源且误差模式复杂时，使用残差归一化评分
4. 模型验证：无论选择哪种方法，都应通过回测验证预测区间的实际覆盖率

总结

MAPIE提供了灵活的置信度评分框架，从最简单的绝对残差到复杂的残差归一化方法，满足不同场景下的不确定性量化需求。理解这些方法的数学原理和适用条件，有助于在实际问题中选择最合适的评分策略。

通过合理选择和使用这些方法，可以显著提升机器学习模型预测结果的可信度和实用性。