揭秘机器学习中的不确定性：偶然与认知的双重奏- Aleatoric and epistemic uncertainty in machine learning 文章解读

原创

已于 2025-09-15 17:37:20 修改 · 901 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #人工智能

于 2025-09-15 09:29:30 首次发布

揭秘机器学习中的不确定性：偶然与认知的双重奏

在当今人工智能飞速发展的时代，机器学习模型已渗透到我们生活的方方面面。从推荐系统到医疗诊断，从自动驾驶到金融风控，模型的预测能力令人惊叹。然而，仅仅提供一个预测结果往往是不够的。尤其在那些“性命攸关”或“高风险”的应用场景中，我们不仅需要知道模型预测了什么，更需要知道模型对自己的预测有多“自信”，以及这种“不自信”来自何方。这正是 不确定性（Uncertainty 在机器学习中扮演关键角色的原因。

这篇名为《Aleatoric and epistemic uncertainty in machine learning: an introduction to concepts and methods》的论文，深入探讨了机器学习中不确定性的概念、方法及其重要性，并特别强调了区分两种核心不确定性类型—— 偶然不确定性（Aleatoric Uncertainty 和 认知不确定性（Epistemic Uncertainty的必要性。

引言（背景和意义）

在这里插入图片描述

领域基础知识

机器学习本质上是从数据中学习模式并构建模型，通常用于进行预测。这个过程的核心就是归纳推理：从具体的观测数据中提炼出普遍的规律。但归纳推理本身就带有不确定性，因为我们无法保证从有限数据中学到的模型是绝对正确的。此外，数据本身的噪声、不完整性以及模型假设的局限性，都进一步增加了不确定性。因此，不确定性是机器学习不可或缺的一部分。

研究的主要背景

传统上，统计学和机器学习领域主要通过概率论来建模不确定性。例如，一个分类器可能会输出一个样本属于某个类别的概率，比如90%的概率是猫，10%的概率是狗。这种单一的概率分布被视为捕获了所有的不确定性。然而，随着机器学习应用场景的日益复杂和对模型可靠性要求的提高（特别是医疗、自动驾驶等安全关键领域），仅仅依赖单一概率分布来描述不确定性显得力不从心。

想象一下自动驾驶汽车的场景：如果系统预测前方是行人，并给出了一个95%的概率。这个95%可能意味着：

前方确实有行人，但由于光线不好或行人移动速度快，传感器数据本身就有点模糊，导致预测结果有5%的随机波动（偶然不确定性）。
前方是一个从未见过的奇怪物体，模型压根就不知道那是什么，所以它“瞎蒙”了一个行人，但对自己这个“蒙”的结果非常不确定（认知不确定性）。

这两种情况虽然都导致了5%的不确定性，但其本质和应对策略却大相径庭。第一种不确定性是数据固有的随机性，即使获得更多信息也无法完全消除；第二种不确定性是模型对自身知识的不足，原则上可以通过获取更多数据或改进模型来减少。

作者的问题意识

论文作者指出，传统方法未能有效区分这两种本质不同的不确定性来源：偶然不确定性和认知不确定性。

偶然不确定性（Aleatoric Uncertainty）：来源于数据固有的随机性或噪声，是数据生成过程中的不可约减部分。即使我们拥有“完美”的模型，这种不确定性也无法消除。
- 例子：抛硬币。即使我们知道硬币是均匀的（正面朝上概率50%），每次抛掷的结果仍然是随机的。我们无法预测下一次是正面还是反面，这种不确定性就是偶然不确定性。
认知不确定性（Epistemic Uncertainty）：来源于模型对数据生成过程的知识不足，是可约减的部分。通常是由于训练数据量有限、模型选择不当或模型参数不确定等因素导致。
- 例子：一个对斯瓦希里语一无所知的人，被问到“kichwa”是“头”还是“尾巴”时，他会感到不确定。这种不确定性可以通过查字典或询问专家来消除，因此是认知不确定性。

在机器学习中，学习算法通常不区分这两种不确定性。然而，在许多实际场景中，区分它们至关重要。例如，在主动学习（Active Learning）中，我们希望选择那些能够最大程度减少认知不确定性的数据点进行标注，而不是那些本身就随机性很强的点。

研究意义

对不确定性进行可靠的表示和量化，特别是区分偶然不确定性和认知不确定性，具有深远的意义：

提高模型可信度：在医疗、金融等高风险领域，模型不仅要准确，还要能告知用户其预测的可靠程度，从而建立信任。
增强决策能力：区分不确定性有助于我们做出更明智的决策。例如，在自动驾驶中，如果模型对“行人”的预测是高偶然不确定性（传感器模糊），可能需要更保守的驾驶策略；如果是高认知不确定性（从未见过此物体），可能需要向人类驾驶员求助或收集更多数据。
优化机器学习方法：在主动学习中，通过优先减少认知不确定性来选择最有价值的数据进行标注，可以显著提高学习效率。在异常检测中，高认知不确定性可能指示着“离群点”或“超出分布”的数据。
应对深度学习的挑战：深度神经网络在处理“对抗性样本”或“分布外数据”时，常常会给出高置信度的错误预测。区分不确定性有助于识别这些模型的“能力边界”。

这篇论文旨在为机器学习领域的不确定性概念提供一个全面的介绍，并概述了目前处理不确定性，特别是形式化区分偶然不确定性和认知不确定性的各种尝试。

内容及结构（论文结构）

这篇论文的组织结构清晰，循序渐进地介绍了不确定性的概念、来源、建模方法以及在不同机器学习范式下的具体实现。

引言（Introduction）：首先，论文引出了不确定性在机器学习中的核心地位，并强调了区分偶然不确定性与认知不确定性的重要性。它通过具体案例（如自动驾驶事故、深度学习在图像分类中的失效）说明了这一区分的实际意义。
监督学习中的不确定性来源（Sources of uncertainty in supervised learning）：
- 详细介绍了监督学习的基本设定和预测不确定性。
- 深入剖析了不确定性的三种主要来源：偶然不确定性、模型不确定性和近似不确定性。
- 对“可约减”与“不可约减”不确定性进行了区分，并讨论了不确定性与上下文（模型设定）的依赖关系。
- 探讨了模型不确定性与近似不确定性之间的关系，尤其是在高容量模型（如神经网络）中的表现。
近似不确定性的建模：基于集合 vs. 基于分布（Modeling approximation uncertainty: set-based versus distributional representations）：
- 本节对比了两种主要的认知不确定性建模范式：版本空间学习（Version Space Learning）和贝叶斯推断（Bayesian Inference）。
- 解释了版本空间学习如何通过维护一个与数据一致的假设集合来纯粹地捕捉认知不确定性。
- 探讨了贝叶斯推断如何通过后验分布来建模假设的不确定性，并指出了贝叶斯模型平均在融合不确定性方面的特点。
- 深入讨论了概率分布在表示“知识不足”（ignorance）方面的局限性，并引出了集合论方法在捕捉认知不确定性方面的优势。
表示不确定性的机器学习方法（Machine learning methods for representing uncertainty）：
- 这是论文的核心部分，概述了多种具体的机器学习方法如何处理和表示不确定性。
- 这些方法被归类为：基于经典统计学（如最大似然估计、生成模型）、基于贝叶斯推断（如高斯过程、贝叶斯深度学习、Credal集）、以及专注于集合值预测（如共形预测、基于效用最大化的集合值预测）。
- 对每种方法，论文都解释了其工作原理、如何捕获不确定性，以及是否能区分偶然不确定性和认知不确定性。
讨论与结论（Discussion and conclusion）：
- 总结了区分偶然不确定性与认知不确定性的核心观点和现有方法的特点。
- 提出了未来研究的开放性问题，包括不确定性分解的公理化基础、不确定性量化方法的评估、模型不确定性的处理以及不确定性在其他机器学习任务中的应用。
附录（Appendix）：
- 提供了不确定性建模的通用背景知识，特别是集合论和概率论在表示不确定性方面的对比。
- 介绍了模糊集、证据理论和可能性理论等广义不确定性理论，以及它们如何结合集合和分布的优势。

整个论文的逻辑结构严谨，从宏观概念到具体方法，再到未来展望，为读者构建了一个理解机器学习不确定性的全面框架。

正文（逻辑梳理）

背景：不确定性的多重面貌

机器学习的核心是监督学习，即从带标签的训练数据 $D = {(x_1, y_1), ..., (x_N, y_N)}$ 中学习一个模型（或称“假设” $h$ ），以便对新的、未见过的数据 $x_q$ 预测其结果 $y_q$ 。然而，这个预测过程充满了不确定性。

我们面临的不确定性主要有三种来源：

偶然不确定性（Aleatoric Uncertainty）：
- 定义：这是数据本身固有的随机性。即使我们对世界有完美的理解，也无法完全预测结果。它反映了输入 $x$ 和输出 $y$ 之间关系的非确定性。
- 例子：预测明天的天气。即使有最精确的气象模型，天气系统固有的混沌性质也意味着我们只能给出下雨的概率，而不能给出确定的答案。这种“预测概率”就是偶然不确定性的体现。在机器学习中，这对应于条件概率分布 $p(y|x_q)$ 。
- 特点：不可约减。无论我们收集多少数据，或构建多么复杂的模型，都无法消除这种随机性。
模型不确定性（Model Uncertainty）：
- 定义：来源于我们对**假设空间（Hypothesis Space H）**的选择。假设空间是模型可能采取的所有形式的集合（例如，选择线性模型、决策树还是神经网络）。如果我们选择了一个“错误”的假设空间，即使数据再多，也无法找到一个完全拟合真实世界规律的模型。
- 例子：如果我们坚持用一条直线去拟合一个明显是抛物线的数据，那么无论数据点有多少，这条直线都无法完美捕捉数据背后的真实关系。
- 特点：原则上可约减，但实践中很难量化和解决。因为它涉及到选择“元模型”（哪个假设空间是最好的），这需要一种“元分析”。
近似不确定性（Approximation Uncertainty）：
- 定义：来源于我们从有限的训练数据中学习到的模型 $\hat{h}$