概率图模型基础：贝叶斯网络与马尔可夫假设

原创于 2025-09-01 06:15:51 发布 · 873 阅读

8 ·

CC 4.0 BY-SA版权

本文为博主原创文章，未经博主允许不得转载。

文章标签：

#网络

一、概率图模型概述

1. 什么是概率图模型？

概率图模型(Probabilistic Graphical Models, PGMs) 是一种用图结构表示随机变量之间概率关系的框架。它将概率论与图论结合，让我们能直观地表示和推理复杂系统中的不确定性。

🌟 一句话理解：概率图模型是"用图形讲故事"——图形表示变量关系，概率表示故事发生的可能性。

2. 为什么需要概率图模型？

简化复杂关系：现实世界中变量间关系错综复杂，直接处理联合概率分布计算量爆炸
直观表示：用图形直观展示变量间的依赖关系
高效推理：利用图结构特性，实现高效的概率推理
处理不确定性：为AI系统提供处理不完整/噪声数据的能力

3. 两大类别

在这里插入图片描述

二、贝叶斯网络（有向图模型）

1. 核心概念

有向无环图(DAG)

节点：表示随机变量
有向边：表示变量间的因果关系或依赖关系
无环：不能形成循环依赖（A→B→C→A 不允许）

🌰 生活例子：考虑"草地湿了"的原因

可能原因：下雨了或喷水器开了
贝叶斯网络：[下雨] → [草地湿] ← [喷水器]

条件独立性

贝叶斯网络的核心优势：通过图结构直接表示条件独立性

d-分离(d-separation)：判断两个变量在给定其他变量时是否条件独立的规则

2. 数学原理

联合概率分解

贝叶斯网络的关键特性：联合概率可以分解为条件概率的乘积

$P (X_{1}, X_{2}, ..., X_{n}) = \prod P (X_{i} ∣ P a re n t s (X_{i}))$

解释：每个变量只依赖于其父节点，与其他非后代节点条件独立

示例：学生网络(经典贝叶斯网络)

在这里插入图片描述

联合概率分解：
$P (I, D, G, S, L) = P (I) \times P (D) \times P (G ∣ I, D) \times P (S ∣ I) \times P (L ∣ G)$
参数数量对比：
- 完整联合分布：2×2×3×2×2 = 48种可能组合
- 贝叶斯网络：2 + 2 + 12 + 4 + 6 = 26个参数
- 节省了近50%的参数！

3. 贝叶斯网络推理

三种基本推理模式

因果推理(Causal)：从原因推结果
- 例：如果课程难度高(D=hard)，成绩变差的概率增加
诊断推理(Diagnostic)：从结果推原因
- 例：如果成绩差(G=C)，课程难度高的可能性增加
解释推理(Intercausal)：证据在共同结果上相遇
- 例：已知成绩差(G=C)，若同时知道SAT高(S=high)，则课程难度高的可能性增加（因为智力高的可能性增加了）

推理算法

精确推理：变量消除法、信念传播
近似推理：马尔可夫链蒙特卡洛(MCMC)、变分推断

三、马尔可夫假设与马尔可夫模型

1. 马尔可夫性质(Markov Property)

核心思想

“未来只依赖于现在，与过去无关”

🌟 通俗解释：就像玩"传话游戏"，你只需要知道上一个人说的话，不需要知道更早的人说了什么。

数学定义

对于随机过程{X₁,X₂,…,Xₙ}，满足马尔可夫性质当且仅当：
$P (X_{n + 1} ∣ X_{1}, X_{2}, ..., X_{n}) = P (X_{n + 1} ∣ X_{n})$

2. 一阶马尔可夫假设

这是最常用的马尔可夫假设形式：

当前状态只依赖于前一个状态
与更早的历史状态无关

🌰 天气预测例子：

今天是否下雨只取决于昨天的天气
与前天、大前天的天气无关

3. 马尔可夫链(Markov Chain)

基本结构

状态空间：所有可能状态的集合
转移概率矩阵：P(Xₜ = j | Xₜ₋₁ = i)
初始分布：P(X₁)

在这里插入图片描述

稳态分布

经过足够长时间后，系统达到稳定状态
满足：π = πP，其中π是稳态分布，P是转移矩阵

4. 隐马尔可夫模型(HMM)

为什么需要HMM？

现实世界中，我们往往只能观察到现象，而真实状态是隐藏的。

🌰 例子：通过观察某人带不带伞(可观察)，推断天气状况(隐藏状态)

HMM结构

HMM三大问题

评估问题：给定模型和观测序列，计算该序列的概率
- 解法：前向算法、后向算法
解码问题：给定模型和观测序列，找出最可能的隐藏状态序列
- 解法：维特比算法(Viterbi)
学习问题：给定观测序列，学习模型参数
- 解法：Baum-Welch算法(EM算法特例)

5. 条件随机场(CRF)

与HMM的区别

HMM是有向图模型(生成式)
CRF是无向图模型(判别式)
CRF直接建模P(状态|观测)，更适合序列标注任务

优势

可以使用丰富的重叠特征
没有HMM的独立性假设限制
在命名实体识别等任务上通常优于HMM

四、贝叶斯网络 vs 马尔可夫模型

1. 结构对比

2. 详细对比表

特性	贝叶斯网络	马尔可夫模型
图类型	有向无环图(DAG)	无向图(马尔可夫随机场)或链(马尔可夫链)
条件独立性	通过d-分离判断	通过图分割判断
联合分布分解	P(X)=∏P(Xᵢ\|Parents(Xᵢ))	P(X)=1/Z ∏φₖ(Cₖ)
适用场景	因果推理、诊断系统	序列建模、空间相关数据
参数学习	极大似然估计、贝叶斯估计	极大似然、最大熵
推理复杂度	NP-hard(一般情况)	与图结构相关
优势	直观表示因果关系	灵活表示相关性
典型应用	医疗诊断、故障诊断、遗传学	图像处理、物理系统、社交网络

3. 条件独立性表达方式

贝叶斯网络：“给定父节点，节点与其非后代节点条件独立”
马尔可夫随机场：“给定邻居节点，节点与非邻居节点条件独立”

五、实际应用案例

1. 医疗诊断系统（贝叶斯网络应用）

应用场景：给定患者症状(咳嗽、呼吸困难)，推断患肺癌的概率
优势：可以结合先验知识(吸烟、空气污染的影响)

2. 语音识别（HMM应用）

隐藏状态：实际发音的音素序列
可观察：声学特征向量
马尔可夫假设：当前音素只依赖于前一个音素
应用：将声音信号转换为文字

3. 自然语言处理（CRF应用）

任务：命名实体识别(识别文本中的人名、地名等)
优势：CRF可以考虑整个句子的上下文信息
对比：比HMM更准确，因为HMM假设观测独立

六、数学基础精要

1. 概率论核心概念

条件概率：P(A|B) = P(A∩B)/P(B)
贝叶斯定理：P(A|B) = P(B|A)P(A)/P(B)
全概率公式：P(A) = ∑P(A|Bᵢ)P(Bᵢ)

2. 贝叶斯网络的因子分解证明

贝叶斯网络的联合概率分解基于链式法则和条件独立性假设：

$P (X_{1}, ..., X_{n}) = P (X_{1}) \times P (X_{2} ∣ X_{1}) \times ... \times P (X_{n} ∣ X_{1}, ..., X_{n - 1})$

在贝叶斯网络中，每个变量只依赖于其父节点：
$P (X_{i} ∣ X_{1}, ..., X_{i - 1}) = P (X_{i} ∣ P a re n t s (X_{i}))$

因此：
$P (X_{1}, ..., X_{n}) = \prod P (X_{i} ∣ P a re n t s (X_{i}))$

3. 马尔可夫假设的数学表达

对于一阶马尔可夫链：
$P (X_{t} ∣ X_{1}, ..., X_{t - 1}) = P (X_{t} ∣ X_{t - 1})$

对于二阶马尔可夫链：
$P (X_{t} ∣ X_{1}, ..., X_{t - 1}) = P (X_{t} ∣ X_{t - 1}, X_{t - 2})$

七、学习建议与资源

1. 学习路径

先掌握基础概率论（条件概率、贝叶斯定理）
理解联合概率分布与条件独立性
学习贝叶斯网络的基本结构和推理
理解马尔可夫假设和马尔可夫链
深入学习HMM和CRF等具体模型

2. 实践建议

使用Python库实践：

# 贝叶斯网络示例
from pgmpy.models import BayesianNetwork
from pgmpy.factors.discrete import TabularCPD

# 定义结构
model = BayesianNetwork([('I', 'G'), ('D', 'G'), ('I', 'S'), ('G', 'L')])

# 定义条件概率分布
cpd_i = TabularCPD(variable='I', variable_card=2, 
                  values=[[0.3], [0.7]])
# ... 其他CPD定义

# 添加到模型
model.add_cpds(cpd_i, cpd_d, cpd_g, cpd_s, cpd_l)