AFM模型原理及Pytorch代码复现

一、前言

该模型是和NFM模型结构上非常相似， 算是NFM模型的一个延伸，在NFM中， 不同特征域的特征embedding向量经过特征交叉池化层的交叉，将各个交叉特征向量进行“加和”, 然后后面跟了一个DNN网络， 这里面的问题是这个加和池化，它相当于“一视同仁”地对待所有交叉特征， 没有考虑不同特征对结果的影响程度，作者认为这可能会影响最后的预测效果， 因为不是所有的交互特征都能够对最后的预测起作用。 没有用的交互特征可能会产生噪声。

二、AFM模型原理

作者在提出NFM之后， 又对其进行了改进， 把注意力机制引入到了里面去， 来学习不同交叉特征对于结果的不同影响程度

AFM模型结构如下：

 1、Input和embedding层

和NFM模型的一样，也是大部分深度学习模型的标配了， 这里为了简单，他们的输入把连续型的特征给省去了， 输入的是稀疏特征， 然后进入embedding层， 得到相应稀疏特征的embedding向量

2、Pair-wise Interaction Layer

这里和NFM是一样的，采用的也是每对Embedding向量进行各个元素对应相乘（element-wise product）交互， 这个和FM有点不太一样， 那里是每对embedding的内积， 而这里是对应元素相乘（不想加），这个要注意一下。 公式长下面这样子：

 3、Attention based Pooling layer

本篇论文的一个核心创新 — Attention based Pooling layer。

这个想法是不同的特征交互向量在将它们压缩为单个表示时根据对预测结果的影响程度给其加上不同权重， 然后在对其进行求和。

计算公式如下：

 其中，表示对的注意力分数， 表示该交互特征对于预测目标的重要性程度。为了解决泛化问题，这里才使用了一个多层感知器（MLP）将注意力得分参数化，就是上面的那个Attention Net。

该注意力网络的结构是一个简单的单全连接层加softmax输出层的结构， 数学表示如下：

 4、output

基于注意力的池化层的输出是一个k 维向量，该向量是所有特征交互向量根据重要性程度进行了区分了之后的一个聚合效果，然后我们将其映射到最终的预测得分中。所以AFM的总体公式如下：