DeepFM： Deep+FM的pytorch实现

一、前言

高阶特征和低阶特征的学习都非常的重要。 推荐模型很多，基本上是从最简单的线性模型(LR)， 到考虑低阶特征交叉的FM， 到考虑高度交叉的神经网络，再到两者都考虑的W&D组合模型。 这样一串联就会发现前面这些模型存在的问题了：

1、简单的线性模型虽然简单，同样这样是它的不足，就是限制了模型的表达能力，随着数据的大且复杂，这种模型并不能充分挖掘数据中的隐含信息，且忽略了特征间的交互，如果想交互，需要复杂的特征工程。
2、FM模型考虑了特征的二阶交叉，但是这种交叉仅停留在了二阶层次，虽然说能够进行高阶，但是计算量和复杂性一下子随着阶数的增加一下子就上来了。所以二阶是最常见的情况，会忽略高阶特征交叉的信息
3、DNN，适合天然的高阶交叉信息的学习，但是低阶的交叉会忽略掉
那么如果把上面这几种结构组合一下子，是不是效果会强大一些呢？ 所以W&D模型在这个思路上进行了一个伟大的尝试，把简单的LR模型和DNN模型进行了组合， 使得模型既能够学习高阶组合特征，又能够学习低阶的特征模式，但是W&D的wide部分是用了LR模型， 这一块依然是需要一些经验性的特征工程的，且Wide部分和Deep部分需要两种不同的输入模式， 这个在具体实际应用中需要很强的业务经验。

所以DeepFM看这个名字也能够看出来，就是Deep+FM的组合思路

二、DeepFM模型

DeepFM的模型吧， 长下面这个样子：

DeepFM的运算过程也比较简单， 左边的FM和右边的DNN共享相同的Embedding层的输入， 左侧的FM对不同特征域的Embedding进行了两两交叉（这里的Embedding向量当成了原FM的特征隐向量）， 右边的DNN对特征Embedding进行了深度交叉， 最后将FM的输出与Deep部分的输出一起送入最后的输出层，参与最后的目标拟合

1、输入和Embedding部分

关于输入，包括离散的分类特征域（如性别、地区等）和连续的数值特征域（如年龄等）。分类特征域一般通过one-hot或者multi-hot（如用户的浏览历史）进行处理后作为输入特征；数值特征域可以直接作为输入特征，也可以进行离散化进行one-hot编码后作为输入特征。

对于每一个特征域，需要单独的进行Embedding操作，因为每个特征域几乎没有任何的关联，如性别和地区。而数值特征无需进行Embedding。

2、FM部分

 FM负责特征之间的低阶交互过程，FM的输出是Addition单元和Inner Product units的加和， Addition单元反映1阶特征各自的影响， 而Inner product代表2阶特征交互的影响。

 3、Deep部分

依然是一个DNN，负责学习高阶特征之间的交互