【推荐系统中的Hash 3】Deep Hash：Learning to Embed Categorical Features without Embedding Tables KDD‘21

三、深度哈希（id——embedding）

《Learning to Embed Categorical Features without Embedding Tables for Recommendation》Google KDD 2021 Research Track

文章以 NLP的视角切入推荐系统中embedding的问题：

• NLP中存在分词的机制，所以词表大小远远小于推荐中纯ID类的词表；
• NLP中的词表是静态的（因为词语是固定的），而推荐中词表需要经常更新（因为有新用户等进入）；
• 推荐中的高度偏移的数据分布，也就是如何处理长尾数据的embedding

文章提出Deep Hash Embeddings (DHE) 的方式来缓解以上问题，AUC相等的情况下模型参数量更少。

现有方法

One-hot full embedding

这种方式就是最常见的方法，即把所有类别特征进行编号，假设共 n 个特征。特征s 首先通过one-hot进行编码 E(s)=b={ 0,1}nE(s)=b=\{0,1\}^nE(s)=b={ 0,1}n , 其中只有第 $b_s$ 项为1，其他都为0。接着通过一个可学习的线性变换矩阵（说白了就是embedding table，可以看作一层神经网络，但没有bias项）得到对应的embedding表示：$e=W^{T}b$ 。

这种方法的缺点：1、embedding table随特征数量线性增长（即内存问题）；2、无法处理新出现的特征（OOV）。

One-hot Hash Embedding

为了解决One-hot Full Embedding中的内存消耗巨大的问题，可以使用**「哈希函数」对类别特征进行「映射分桶」**，将原始的 n 维的 one-hot 特征编码映射为 m 维的 one-hot 特征编码（即m个桶，$m<<n$ ）。这样，embedding table只用存储m项，大大降低了参数量。

相比One-hot Full Embedding，编码部分变为：E(s)=b={ 0,1}mE(s)=\mathbf{b}=\{0,1\}^{m}