【机器学习-西瓜书】第7章贝叶斯分类器

最新推荐文章于 2024-07-29 22:45:07 发布

原创

最新推荐文章于 2024-07-29 22:45:07 发布 · 3.3k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

本文详细介绍了贝叶斯决策论，包括贝叶斯分类器的基本原理，极大似然估计用于估计类条件概率的方法，以及朴素贝叶斯分类器和半朴素贝叶斯分类器的差异。重点讨论了属性条件独立性的假设及其在朴素贝叶斯中的应用，以及如何在数据不充分时使用平滑技术。同时，提到了贝叶斯网和EM算法在处理隐变量时的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

7.1 贝叶斯决策论 (Bayesian Decision Theory)

在所有相关概率都已知的情况下，贝叶斯决策论考虑的是：如何基于这些概率和误判损失来选择最优的类别标记。

以多分类任务为例解释BDT的基本原理

$Y=\{c_{1}, c_{2}, ..., c_{N}\}$

$\lambda _{ij}$ 表示将真实标记 cj 的样本误分类为 ci 所产生的损失。基于后验概率 $P(c_{i}|x)$ 可得到将样本 x 分类为 ci 所产生的期望损失：

$R(c_{i}|x) = \sum_{j=1}^{N}\lambda_{ij} P(c_{j}|x)$

我们的目标是：寻找一个判定准则 $h: X \mapsto Y$ 以最小化总体风险：

$R(h) = E_{x}[R(h(x)\ |\ x)]$

贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险 R( c|x )最小的类别标记：

$h^{\ast}(x) = \underset{c \in Y}{arg \ min} \ R( c|x )\ \ \ \ \ \ \ \ \ \ \ \ (7.3)\\ =\underset{c \in Y}{arg \ max} P(c|x)\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (7.6)$

此时， $h^{\ast}(x)$ 称为贝叶斯最优分类器 (Bayes optimal classifier)，即对每个样本 x，选择能使后验概率 P( c|x ) 最大的类别标记。

discriminative models：给定 x，通过直接建模 P( c|x ) 来预测c。比如决策树、BP神经网络、SVM等

generative models：先建模联合概率分布 P(x, c)，然后由此获得 P（ c|x )。比如贝叶斯分类器。

根据贝叶斯定理，有

$P(c|x) = \frac{P(c)P(x|c)}{P(x)} \ \ \ \ \ \ \ (7.8)$

其中，P(c)表示类先验prior概率；P(x|c)表示样本x 相对于类标记c 的类条件概率，也称为“似然”（likelihood），P(x) 表示归一化证据evidence因子。

别注：若加上属性条件独立性假设（同时也是朴素贝叶斯的基本假设），则有

$P(c|x) = \frac{P(c)P(x|c)}{P(x)}= \frac{P(c)}{P(x)}\prod_{i=1}^{d} P(x_{i}|c) \ \ \ \ (7.14)$

d 表示属性数目，xi 表示 x在第 i 个属性上的取值。