变分推断以及在概率图模型中的应用

概率图模型——变分法 参考书籍：张连文 等著. 《贝叶斯网络引论》 变分法的基本思想是通过变分转换，将概率推理问题转化为一个变分优化问题来处理。具体描述如下： 设$N$为一个贝叶斯网络，表示联合分布$P(x)$。设观测到的证据为$E=e$，所有非证据变量的集合为$Z={Z_1,Z_2,...,Z_n}$,准备计算的是$P(E=e)$和$P(Z\mid E=e)$。 变...

1、变分推断的算法 在推导之前先陈述一下各个变量的含义 X：观测变量，Z:隐变量+参数 根据我们的贝叶斯公式，我们所要求的后验分布为： p(Z∣X)=p(X,Z)p(X) p(Z|X) = \frac {p(X,Z)}{p(X)} p(Z∣X)=p(X)p(X,Z)​ p(Z∣X)=p(X,Z)∫Zp(X∣Z)p(Z)dZ p(Z|X) = \frac {p(X,Z)}{\int_Z p(X|Z)p(Z)dZ} p(Z∣X)=∫Z​p(X∣Z)p(Z)dZp(X,Z)​ 很多时候p(Z∣X)p(Z|X)p(

      变分推断是近年来深度学习中一个非常重要的技术手段。推断困难通常是指难以计算p(h|v)或其期望，其中v指的是模型的可观测变量，而h表示隐藏变量。在深度神经网络中，多层的隐藏变量之间联系复杂，无法通过一个具体地概率密度函数来刻画隐藏变量的实际分布情况。即使对于单层的稀疏编码器，倘若隐变量之间没有相关的独立性假设，其内部隐藏单元的概率分布密度函数也是很难刻画的，原因是当输出变量被观测时，其...

变分推断讲解 网址：https://www.zhihu.com/question/41765860

本文从泛函和变分法的介绍出发，引出两种变分推断算法来解决贝叶斯模型中后验概率难以计算的问题，包括详细的公式推导。

ref：http://www.crescentmoon.info/?p=745

假设在一个贝叶斯模型中，xxx为一组观测变量，zzz为一组隐变量（参数也看做随机变量，包含在zzz中），则推断问题为计算后验概率密度P=(z∣x)P=(z|x)P=(z∣x)。根据贝叶斯公式，有： p(z∣x)=p(x,z)p(x)=p(x,z)∫p(x,z)dzp(z|x)=\frac{p(x,z)}{p(x)}=\frac{p(x,z)}{\int p(x,z)dz}p(z∣x)=p(x)p(x,z)​=∫p(x,z)dzp(x,z)​ 但是在实际应用中，可能由于积分没有闭式解，或者是指数级的计算复杂度

#! https://zhuanlan.zhihu.com/p/401456634 变分推断 1.变分推断的背景    在机器学习中，有很多求后验概率的问题，求后验概率的过程被称为推断（Inference），推断分为精确推断和近似推断。精确推断一般主要是根据贝叶斯等概率公式推导出后验概率，但在一些生成模型中，如RBM, DBN, DBM很难应用精确推断，于是乎我们就有了近似推断，近似推断又分为确定性近似和随机性近似,确定性近似方法就是变分推断（Variance Inference， VI），随机性近似的方法

PGM模型的典型问题之一就是推断问题。 推断 推断问题定义为，已知模型中的部分随机变量e\textbf ee，计算其他部分随机变量q\textbf qq的后验概率，即: P(q∣e)P(\textbf q|\textbf e)P(q∣e) 一般的根据贝叶斯公式直接进行计算: P(q∣e)=P(q,e)P(e)P(\textbf q|\textbf e)=\frac{P(\textbf q,\tex...