Second paper:《Auto-encoding Variational Bayes》自编码变分贝叶斯的阅读笔记

这是生成模型下面阅读的second paper：

论文地址：[1312.6114] Auto-Encoding Variational Bayes

来源：arXiv:1312.6114v10 [stat.ML] 1 May 2014

参考文章链接：https://zhuanlan.zhihu.com/p/37224492

1 介绍

在涉及如下图所示的包含隐变量的学习和推理问题时，往往会遇到后验概率不可计算的情况，这会导致参数难以学习以及推理难以进行。下边的问题基于下图所示的概率图进行讨论，其中  表示样本集大小，  表示观察变量，  表示隐含变量，生成模型表示为  ，  是对  的近似，表示识别模型。

                                                                  观察变量及隐变量概率图

注：从x到z是inference model（encoder）,从z到x是generative model (decoder),对于在生成模型这一部分中是生成模型的后验概率。而对于实际的生成模型中这一后验概率往往是不可计算的，所以需要根据假设分布来进行近似，再利用KL散度来刻画这两个分布的相似度（最小化）。这也是斯坦福Ermon教授的EM[1]----EM[2]-----EM[3]中提到的逐次进行近似刻画。

2 Problem

  2.1不可计算问题

如果对概率图所示的随机变量