论文地址:NICE模型
现在打算紧跟生成模型的步伐,看一下最近火起来的流模型,根据Paper_weekly的文章找到了glow模型最原始的论文,NICE模型。本文主要是该篇论文的笔记。
一、论文概述
摘要部分:
1、NICE全称为Non-linear Independent Component Estimation ,可以翻译为非线性独立分量估计。
2、在本文中,我们需要学得一个确定的非线性转换,能够将数据映射到隐空间,得到独立的隐变量。factorized distribution感觉可以理解为因式分解后的分布。注意这个过程是可逆的,NICE可以将高维数据映射到隐空间,同时可以从隐空间映射到高维数据。
因此,关键在于找到可逆的函数。
3、这个转换过程涉及到Jacobian(雅克比)矩阵和雅克比矩阵的逆。
雅克比矩阵是一阶偏导数以一定方式排列的矩阵,其行列式称为雅克比行列式。
具体而言,函数F为m*n的方程组:
这些函数的偏导数(如果存在)组成了一个m行n列的矩阵,为雅克比矩阵: