推荐召回算法之双塔模型

关注本人的同学可能发现，我最近点评的文章都是关于"GNN在推荐系统应用"方向的。这当然与现如今这个方向非常火有关，但是作为一个合格的炼丹师+调参侠，总要搞清楚一门技术为什么火？这么火的技术对于自己是否有用？根据我的理解，由“传统机器学习→深度学习→图计算或知识图谱”这一路下来的发展脉络如下： 一切技术的目标都是为了更好地“伺候”好“推荐系统的一等公民 — ID类特征”。用户购买过的商品、光顾过的店铺、搜索过的关键词、商品的分类与标签，都是这样的ID类特征 传统的机器学习只会“严格匹配”。用户

双塔模型的应用-推荐系统实践与总结

DSSM语义召回 DSSM是一种基于深度神经网络的语义建模方法，这是由微软发表的一篇关于Query和Doc的相似度计算模型的论文提出。 该模型的结构主要由三部分组成（如下图） 输入层 输入层主要负责将Query和Doc的数据转换成embedding向量表达，方法通常有TFIDF，One-Hot等。原论文针对英文输入提出了一种叫做Word hashing的特殊embedding方法来降低字典规模。 表示层 表示层主要是将初始的embedding向量，经过深度学习的方法映射得到Query和Doc的新的em

本文基于TensorFlow构建了一个支持多任务学习的双塔推荐模型，可同时预测点击率（CTR）和转化率（CVR）。通过用户塔和商品塔的分离式设计，模型既能捕捉用户兴趣偏好，又能理解商品特征，最终通过向量相似度计算生成推荐结果

正样本：曝光而且有点击。简单负样本全体物品。batch内负样本。困难负样本：被召回，但是被排序淘汰。错误：曝光、但是未点击的物品做召回的负样本。离线存储：把物品向量b存入向量数据库。完成训练之后，用物品塔计算每个物品的特征向量b。把几亿个物品向量b存入向量数据库（比如 Milvus、Faiss、HnswLib向量数据库建索引，以便加速最近邻查找。线上召回：查找用户最感兴趣的 k 个物品。给定用户 ID 和画像，线上用神经网络算用户向量a。最近邻查找：把向量a。

作者：十方，公众号：炼丹笔记不知道多少人还记得 《做向量召回 All You Need is 双塔》那篇，那篇介绍了国内外各个大厂做召回的用的双塔模型，其中提到一篇《Embeding-based Retrieval in FaceBook Search》，还跟大家强烈建议，该篇必读，不知道有多少炼丹师认真读了？什么？你还没读！没关系，十方今天就给大家解读这篇论文。很多炼丹师往往迷恋于各种复杂的网络...

user侧和item侧特征无法交叉，有一些工作尝试了一些解决方案，比如新浪微博张俊林尝试了SENet，美团发表了论文ADualAugmentedTwo-towerModelforOnlineLarge-scaleRecommendation我们自己在实践中发现，DSSM召回的内容单一性比较严重，大多数都是同类别的，不知道有没有其他小伙伴遇到，可以贴出解决方案。推荐系统（十七）双塔模型httpshttps。..................

【推荐算法】双塔模型介绍

双塔模型经典又简单，就是NLP领域的 query 和 document，推荐领域的 user 和 item，多模态检索领域的图像和文字等，都可以用双塔表示，分别把两个领域的特征编码成一个向量，然后向量相似度进行召回。较早使用双塔模型的是DSSM模型。将文本编码成对应低维向量，然后通过优化向量点积估值，得到合适的query和文档向量。线上通过query和文档的相似度进行文档的召回。推荐系统中使用的双塔模型结构如下：真实的推荐领域的大规模推荐系统，通常有百万到上亿的item和user。

文章目录一、DSSM模型1.1 DSSM模型架构1.2 模型原理二、负样本构造的6个常用方法2.1 曝光未点击数据2.2 全局随机选择负例2.3 Batch内随机选择负例2.4 曝光数据中随机选择负例2.5 基于Popularity随机选择负例2.6 基于Hard选择负例三、DSSM在工业界常用的原因3.1 论文的实验细节3.1 DSSM召回在线infer四、DSSM的变种Reference 一、DSSM模型 1.1 DSSM模型架构 这里不按原论文出牌，从推荐系统角度： 双塔模型结构简单，一个user

DSSM（Deep Structured Semantic Model）双塔模型是一种在推荐系统、搜索引擎等领域广泛应用的深度学习模型，主要用于文本相似度匹配和召回任务。以下将从DSSM双塔模型的基本原理、应用实践以及优势等方面进行详细阐述。DSSM模型是一种简单有效且易于实现的双塔模型，在推荐系统中得到了广泛应用。随着深度学习技术的发展，DSSM模型也在不断地改进和完善，未来将发挥更大的作用。

因为在双塔结构下，无论对于userA还是userB而言，面对的item embedding都不会有区别，所以可以离线对所有的物料提前过item tower得到item embedding，当userA来时，只需要计算userA embedding即可，由此双塔的第一个好处便浮出水面：无需每次请求重复计算，节省了一大批算力资源。让我们重新回顾一下问题。自此，归一化解释清楚：双塔召回需要ANN，点积不保序一般使用欧式距离，双塔最上层归一化能将输入映射到欧式空间，保证了训练检索的一致性，提高了效果。

双塔模型是一种简单而高效的语义匹配模型，通过用户塔和物品塔的独立建模，以及匹配层的相似性计算，实现了用户和物品之间的高效推荐。本文从原理到代码实现，逐步拆解了双塔模型的核心逻辑和设计思想，使其易于理解和应用。

这是粗排和精排，前期融合，将特征在神经网络之前就拼接融合，不适用于召回，适用于排序模型；召回使用双塔模型，是在最终输出相似度的时候才融合。

双塔模型和CLIP本质上是同一套对比学习框架在不同领域的具象化——推荐双塔是从行为数据中学习用户-物品的关联，CLIP是从图文配对中学习跨模态语义映射。二者的核心区别仅在于处理的数据类型和应用场景。L−∑i1Blog⁡exp⁡siexp⁡si∑j1Nexp⁡sj−L−i1∑B​logexpsi​∑j1N​expsj−​expsi​​sis_i^+si​：正样本的相似度分数sj−。