论文阅读：(FNN和SNN)Deep Learning over Multi-field Categorical Data

一、摘要

前置说明：这是一篇在2016年发表的论文，提出了基于FM预训练获取离散特征embedding表示，结合DNN来进行CTR的预估。因为思想并不复杂，所以本文就只选择重要内容进行记录。

在进行用户点击率预测的时候，常用的用户反馈模型就两种——要么使用线性模型，要么手工组合高阶的特征。
但是这两种都有弊端——前者缺乏特征间的组合信息，后者会导致组合出庞大的特征空间。
所以该论文提出了FNN和SNN这两个使用DNN的新模型。
为了让DNN能有效工作，还使用了FM、RBM和DAE这3种特征变换的方法。

二、介绍

1、Introduction的第一环节——批判前者
CTR预测的线性模型，如逻辑回归，朴素贝叶斯，FTRL逻辑回归和贝叶斯逻辑回归等。所有的这些都是基于使用one-hot编码的大量稀疏特征。线性模型简单，有效，但是性能偏差，无法学习到特征之间的相互关系。
CTR预测的非线性模型可以通过特征间的组合提高模型的能力。如FMs，将二值化的特征映射成连续的低维空间，通过内积获取特征间的相互关系；如梯度提升树，通过树的构建过程，自动的学习特征的组合。然而，这些方法并不能利用所有可能的组合。另外，许多模型手工的进行特征工程，自己决定如何进行特征的组合。并且因为已有的CTR模型在对复杂数据间的潜在的模式上的表达能力是非常有限的，所以其泛化能力表现一般。

2、Introduction的第二环节——介绍自己
​该论文介绍了两种深度学习模型，FNN和SNN。
FNN使用FM进行监督学习，得到嵌入层，可以有效的减少稀疏特征的维度，得到连续的稠密的特征。
SNN是通过一个使用负样本采样方法的基于采样的玻尔兹曼机或者是一个基于采样的自动编码去噪机。在嵌入层之上，构建多层的神经网络来探索潜在的数据的模式。

三、相关工作

将大型的输入向量嵌入到低维的向