1. 先验与后验的基本概念
1.1 先验概率
- 定义：先验概率是指在未观测到具体数据（证据）之前，基于已有知识、经验或假设对某个事件或参数的概率分布的估计。简言之，它是你对某件事的“初始信念”。
- 符号：通常表示为 P(θ)P(\theta)P(θ)，其中 θ\thetaθ 是待估计的参数或假设。
- 特点：
- 先验概率是主观的，依赖于背景知识或假设。
- 先验可以基于历史数据、专家意见、理论假设或简单猜测。
- 先验可以是分布形式（如高斯分布、均匀分布）或具体概率值。
- 示例：
- 掷硬币前，你可能假设硬币是公平的，因此先验概率 P(正面)=0.5P(\text{正面}) = 0.5P(正面)=0.5。
- 在医疗诊断系统中，你可能根据流行病学数据假设某疾病的发病率（先验概率）为 1%。
1.2 后验概率
- 定义：后验概率是指在观测到新数据（证据）后，根据贝叶斯定理更新后的概率分布。它结合了先验概率和观测数据的似然，反映了你在看到数据后对事件或参数的“更新信念”。
- 符号：通常表示为 P(θ∣D)P(\theta|D)P(θ∣D)，其中 θ\thetaθ 是参数，DDD 是观测数据。
- 特点：
- 后验概率是条件概率，依赖于观测数据。
- 后验概率是先验概率的更新结果，体现数据对信念的修正。
- 后验分布可用于决策、预测或进一步推断。
- 示例：
- 假设你怀疑某人患有某种疾病（先验概率为 1%）。在检测结果呈阳性（新数据）后，根据检测准确性和贝叶斯定理，你可以计算后验概率，即此人实际患病的概率（可能变为 10% 或更高）。
1.3 先验与后验的关系
- 先验和后验通过贝叶斯定理联系起来：
P(θ∣D)=P(D∣θ)⋅P(θ)P(D)P(\theta|D) = \frac{P(D|\theta) \cdot P(\theta)}{P(D)}P(θ∣D)=P(D)P(D∣θ)⋅P(θ)- P(θ∣D)P(\theta|D)P(θ∣D)：后验概率（更新后的信念）。
- P(D∣θ)P(D|\theta)P(D∣θ)：似然，表示在给定参数 θ\thetaθ 下观测到数据 DDD 的概率。
- P(θ)P(\theta)P(θ)：先验概率（初始信念）。
- P(D)P(D)P(D)：证据，是数据的边缘概率，通常作为归一化常数。
此公式是贝叶斯推理的核心，说明如何从先验概率（初始假设）结合数据（似然）得到后验概率（更新后的信念）。
2. 贝叶斯定理的推导与理解
为深入理解先验和后验，我们从贝叶斯定理的推导开始。
2.1 条件概率
贝叶斯定理基于条件概率的定义：
-
条件概率 P(A∣B)P(A|B)P(A∣B) 表示在事件 BBB 发生时，事件 AAA 发生的概率：
P(A∣B)=P(A∩B)P(B)P(A|B) = \frac{P(A \cap B)}{P(B)}P(A∣B)=
最低0.47元/天 解锁文章
扫一扫
3398
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
