理解贝叶斯网络：公式、推理与应用-CSDN博客

本文链接：https://blog.csdn.net/m0_56945100/article/details/133144324

本文深入探讨了概率统计中的贝叶斯网络，包括基本定义、联合分布公式、条件独立关系和链式规则。文章详细阐述了贝叶斯网络中的精确推理方法，如枚举和变量消元算法，以及近似推理技术，如先验采样、拒绝采样、似然加权和Gibbs采样。通过实例解析了各种推理方法的优缺点，为理解和应用贝叶斯网络提供了清晰的指南。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、常用公式

边缘化：

$\textbf{P}\left ( \textbf{Y} \right )=\sum_{\textbf{z}\in \textbf{Z}}^{}\textbf{P}\left ( \textbf{Y,z} \right )$

条件化：

$\textbf{P}\left ( \textbf{Y} \right )=\sum_{\textbf{z}\in \textbf{Z}}^{}\textbf{P}\left ( \textbf{Y|z} \right )\textbf{P}\left ( \textbf{z} \right )$

归一化：

$\textbf{P}(\textbf{X}\textbf{|}\textbf{e})=\alpha \textbf{P}(\textbf{X}\textbf{,}\textbf{e})=\alpha \sum_{\textbf{y}\in \textbf{Y}}^{}\textbf{P}\left ( \textbf{X,e,y} \right )$

归一化的一般贝叶斯规则：

$\textbf{P}\left ( \textbf{Y}|\textbf{X} \right )=\alpha \textbf{P}\left ( \textbf{X|Y} \right )P\left ( \textbf{Y} \right )$

条件独立性(朴素贝叶斯模型)：

$\textbf{P}\left ( Cause,Effect_{1} ,...,Effect_{n}\right )=\textbf{P}(Cause)\prod_{i}^{n}\textbf{P}\left ( Effect_{i} |Cause\right )$

二、贝叶斯网络（Bayesian networks）

1、定义

贝叶斯网络可以本质上表示任何完全联合概率分布。贝叶斯网络是一个有向图，每个结点都标注了定量的概率信息，定义：

1、每个结点对应一个随机变量，这个变量可以是离散的或者连续的。

2、一组有向边或箭头连接结点对。图中没有有向回路，即贝叶斯网络为有向无环图（DAG）。

3、每个结点 $X_{i}$ 有一个条件概率分布 $\textbf{P}\left ( X_{i}|Parents\left ( X_{i} \right ) \right )$ 量化其父结点对该结点的直接影响。

2、贝叶斯网络中联合分布公式

$P\left (x _{1},...,x_{n} \right )=\prod_{i=1}^{n}P\left ( x_{i}|parents\left ( X_{i} \right ) \right )$

其中 $parents\left (X _{i} \right )$ 为 $X_{i}$ 出现在 $x _{1},...,x_{n}$ 的父结点取值。

3、链式规则

$P\left ( x_{1},...,x_{n} \right )=P\left ( x_{n}|x_{n-1},...,x_{1} \right )P\left ( x_{n-1}|x_{n-2},...,x_{1} \right )...P\left ( x_{2}|x_{1} \right )P(x_{1})=\prod_{i=1}^{n}P\left (x_{i}|x_{i-1},...,x_{1} \right )$