weixin_46351593的博客

《Embed Progressive Implicit Preference in Unified Space for Deep Collaborative Filtering》提出了一种新颖的深度协同过滤框架GNOLR，通过有序逻辑回归(OLR)解决多目标推荐中的挑战。该方法首先将用户行为按稀疏性排序并映射为有序标签，然后创新性地提出嵌套优化策略：每个兴趣等级构建递归子空间，使高级别任务能包含低级别信息。相比传统多任务学习，GNOLR在统一向量空间建模用户综合偏好，避免了目标冲突和多路索引的复杂性。实验表

整体任务也是协同与语义的结合。现有探索有两种：- 一种是**纯文本法**：只用文本（商品介绍等）做 embedding，能泛化但丢了 CF 信号。- 另一种是**混合法**：试图融合文本和 CF 信号，比如把 ID 向量和文本向量拼接、用文本指导 ID 训练、或设计融合网络（比如cross-attention）。【CCFRec 也算这类吧】本质还是主要依赖 ID 向量。作者认为：最好的 embedding model，应该 “天生” 就能同时捕获 CF 信号和 语义知识，而不是

摘要：中国人民大学高瓴学院的KDD2025论文《Bridging Textual-Collaborative Gap through Semantic Codes for Sequential Recommendation》提出CCFRec模型，解决序列推荐中文本与协同信息融合不足的问题。传统方法依赖ID协同过滤，忽视商品文本内容，而现有融合方法常导致信息割裂。CCFRec创新性地引入多视图语义码（sid），将商品属性（如标题、品牌）编码为可学习的语义ID，既保留协同关系，又增强内容表征。模型通过Code

**顺序推荐**的目标是根据用户与系统的历史交互记录，预测用户接下来最可能感兴趣的物品。常见的方法大多基于 RNN、Transformer，但是它们面临一个核心难题：**表达空间弱**，表现为：模型虽然复杂，但是学到的物品向量特征（embedding）之间的区分度并不高，表现没有预期好。**扩散模型**（Diffusion Model），原本在自监督学习、图像生成领域很火，被认为对学“**好特征**”特别有用。理论上，它能帮助推荐系统更好的区分不同物品，学到更合理的分布。**但实际在推荐系统中表现不理想

谷歌DeepMind提出ActionPiece方法，创新性地将推荐系统中的用户动作序列视为无序特征集合进行动态切块。不同于传统固定token映射方式，ActionPiece通过两层共现统计（特征袋内+相邻袋间）和随机排列增强(SPR)，实现上下文感知的tokenization。具体包括：1）离线构建加权词表，合并高频共现特征；2）训练时随机打乱特征顺序生成多视角序列；3）自回归模型学习动态token组合。该方法在Sports等数据集上验证有效，解决了传统方法中token脱离上下文的局限性，使推荐系统能更精准

1. 论文贡献总结 • RPG 方法是什么？ • 提出了一种高效、有效的基于 semantic ID 的推荐方法（RPG）。 • 和传统生成式模型不同，不是一步步（自回归）生成每一位 token，而是所有位并行预测，大大提升了推理效率。⸻2. 技术亮点 • 打破自回归依赖：传统生成需要前一位的 token 才能生成后一位，这导致生成速度慢、延迟高。RPG 让每一位可以独立、同时预测，没有顺序依赖。 • 支持更长更表达力强的 semantic ID：并行预测后，每个物品的 ID 可以设计得很

摘要：阿里提出的SIM（Search-based Interest Model）是一种高效的用户兴趣建模方法，用于处理超长行为序列的CTR预测问题。传统模型（如DIN、MIMN）受限于计算开销或固定记忆矩阵的噪声问题，难以精准建模用户兴趣。SIM创新性地采用双阶段搜索机制：GSU（通用搜索单元）：通过硬搜索（类别匹配）或软搜索（内积相似度）从上万条行为中筛选出与候选商品最相关的Top-K子序列，大幅降低计算复杂度。ESU（精准搜索单元）：对筛选后的行为序列，结合时间间隔嵌入和多头注意力机制，精细化建

《Towards Large-scale Generative Ranking》这篇文章探讨了生成式排序在推荐系统中的有效性及其在工业场景中的应用。生成式推荐的核心思想是将推荐任务视为从用户历史行为中生成未来可能发生的行为。文章主要解决两个问题：为什么生成式排序比传统方法更好，以及如何在保持效果的同时提升运行效率以便于工业部署。为提升效率，小红书提出了GenRank架构，其创新点在于以用户行为为导向的序列组织方式和更高效的时间与位置偏置处理策略。实验表明，GenRank在训练和推理效率上有显著提升，同时保持

这篇文章《Pre-training Generative Recommender with Multi-Identifier Item Tokenization》提出了一个生成式推荐模型MTGRec，旨在解决冷门商品建模不佳和训练数据多样性不足的问题。传统生成式推荐模型中，每个商品对应唯一的token序列，导致冷门商品的token出现频率低，语义学习不充分，且训练数据单一。MTGRec通过引入多标识符编码（Multi-Identifier Tokenization）和数据课程学习机制（Data Curric

本文提出了一种端到端的生成式推荐框架ETEGRec，旨在解决传统两阶段生成式推荐模型中物品标记化与生成推荐器分离训练的问题。ETEGRec通过引入序列-物品对齐和偏好-语义对齐机制，实现了物品标记器与生成式推荐器的协同优化。物品标记器采用RQ-VAE将物品编码为离散token序列，生成式推荐器则基于Transformer自回归地生成目标物品的token。通过联合优化token重构损失、生成损失及对齐损失，ETEGRec在推荐任务中表现出更高的效率和效果。该框架为生成式推荐提供了一种新的端到端学习范式，具有重

在传统的推荐系统中，每个物品或用户通常都被分配一个“原子ID”，例如商品ID 123、用户ID 456 等。这种ID本身没有任何语义，仅仅是一个索引数字，它无法表达出物品之间的内容相似性或语义关联。例如，一双运动鞋和一件运动T恤，即使在使用场景上高度相关，它们的ID却毫无关联。原子ID不具备语义信息；无法泛化到新物品、新用户（冷启动问题严重）；在训练生成式模型时不利于学习和预测。为了解决这些问题，TIGER提出用“语义ID（Semantic ID）”来替代原子ID。

MARM（Memory Augmented Recommendation Model），通过引入缓存技术，极大地优化了推荐系统中的计算复杂度。传统的推荐系统往往依赖大量的数据处理和高计算量，特别是在多层次的注意力机制中，计算复杂度往往会成为瓶颈。而MARM的创新之处就在于，它利用缓存存储计算结果，避免了重复计算，从而大大减少了计算资源的消耗。通过对比不同的模型，MARM在解决计算瓶颈、提高效率方面展示了显著优势。使用多层目标注意力机制**来捕捉用户的长期和短期兴趣，同时通过缓存技术来减少不必要的重复计算。

CTR（Click-Through Rate，点击率）预测任务在推荐系统中扮演着至关重要的角色，它的目标是预测用户在当前上下文下，是否会点击某个候选内容（如视频、商品、广告等）。一个准确的 CTR 模型不仅可以提升用户体验，还能帮助平台更高效地分发优质内容，提升业务效果。CTR 预测通常被建模为一个二分类问题。给定一个样本的特征向量xi∈Rdxi​∈Rd，模型会输出一个打分fxifxi​，表示用户点击的倾向。为了将该打分映射到01[0,1]01yiσfx。

这篇来自谷歌的研究工作聚焦于一个推荐系统中长久未解的难题：**如何在不破坏用户体验的前提下，引导用户走出兴趣“信息茧房”，实现有效探索。面对传统系统的闭环困境和强化学习在推荐场景下的失败尝试，作者提出了一种“双LLM+离线规划”**的新范式，将“生成”和“控制”两个目标彻底解耦。通过引入新颖性模型与对齐模型的协作机制，并辅以离线生成、在线查表的系统优化策略，他们最终在一个真实的短视频平台上实现了“新颖性”与“满意度”同步提升的稀有结果。

总的来说，T2Diff 提出了一种创新的生成式推荐方法，突破了传统双塔模型“信息交互弱”和“行为建模浅”的限制。通过引入扩散模型，T2Diff 能够生成用户的下一个潜在兴趣行为，从而显式引导用户建模过程；同时结合混合注意力机制，引入当前兴趣与历史行为的深度交互，有效提升了用户表示的表达能力。文章在多个真实世界和工业级数据集上验证了方法的有效性，显著优于现有最先进方法，展现出生成式模型在大规模推荐系统中的巨大潜力。

总的来说，OneRec不仅是一种技术创新，也是快手生成式推荐的重要探索，体现了推荐系统未来的发展趋势：从“排序打分”走向“偏好理解与生成”，从“静态预测”走向“持续自我优化”。本文提出OneRec打破传统多阶段检索排序架构的限制，首次构建一个端到端、单阶段、生成式推荐模型框架。在方法上，采用一种平衡k-means（RQ-VAE改变）将视频内容编码为离散语义token，基于用户行为的统一编码器解码器结构（解码器用了MoE技术），通过自回归生成完整的推荐session。

目前在调研处理地理位置坐标的方法，完善之前地理大模型的文章，现在调研一下这篇ICLR 2020的文章全名叫：MULTI-SCALE REPRESENTATION LEARNING FOR SPA- TIAL FEATURE DISTRIBUTIONS USING GRID CELLS。看看其中编码地图的思路或者方法能否有借鉴的地方。

一、任务设置解释📌 用户的输入（查询）是由两部分组成的：查询内容记作qconq_{con}qcon​，可能是图像、文本，或者图文对。比如：一张图片、或一句话、或一张图+一句描述。例子：图像qiq_iqi​、文本qtq_tqt​、图文对qiqt(q_i, q_t)qi​qt​检索指令记作qinstq_{inst}qinst​，说明用户希望返回的目标类型和含义。比如：“找出这张图对应的文字描述”

出发，依次评估相邻节点，并。

NCF全称：Neural Collaborative Filtering。当时（2017年），深度神经网络在语音识别、计算机视觉和自然语言处理方面取得了巨大成功。然而，深度神经网络在推荐系统上的探索相对较少。在这项工作中，作者开发基于神经网络的技术来解决推荐中的关键问题——基于隐式反馈的协同过滤。通过将内积（传统MF）替换为可以从数据中学习任意函数的神经架构，作者提出了一个通用框架NCF，称基于神经网络的协同过滤。NGCF全称：NeuralGraph用户和项目的学习向量表示（即Embedding。

总的来说，这篇论文是在2017年提出的GraphSAGE基础上的一个延伸，将其采样方式进行改变，并在工业级的数据上进行部署。能完成这样一份工业级数据上进行推荐的任务是不容易的。在dgl的库中也有这个算法的一个demo，但是与本文的一些方法会有差异，我想大概是因为dgl库中要到的数据集（ml-1m）无法达到Pinterest那样的量级，所以我觉得使用了PinSage也不一定会比传统的GCN效果要好。但通过代码也可以更好的理解这个模型。这也是我的一次论文分享，如果问题请指正。

图神经网络中还有一个重要概念，即图采样。如果数据量过大，则是否可以仿照传统深度学习的小批量训练方式呢？答案是不可以，因为普通深度学习中的训练样本之间并不依赖，但是图结构的数据中，节点与节点之间有依赖关系，如下图：普通深度学习的训练样本在空间中是一些散点，可以随意小批量采样，无论如何采样得到的训练样本并不会丢失什么信息。而图神经网络训练样本之间存在边的依赖，也正是因为有边的依赖，也正是因为有边的依赖，所以才被称为图结构数据，这样才可用图神经网络的模型算法来训练，如果随意采样，则破坏了样本之间的关系信息。

路径是从某一个节点到另一个节点之间经过的边与节点组成的子图，包含头尾节点，如下图：上图中，由节点1开始游走，到到达节点4可以经过节点2或者节点3，所以节点1与节点4之间存在路径1–>2–>4和1–>3–>4这两条路径，而节点1到节点5只有1条路径，所以该路径是1–>5。一条路径上的边数被称为路径的阶数。例如1–>2–>4和1–>3–>4属于二阶路径。1–>5属于一阶路径，所以又可以把节点2、3、5称为节点1的一阶邻居，节点4称为节点1的二阶邻居。

Wide&Deep模型是和的综合，是谷歌在2016年提出的。正如其名，Wide&Deep模型是由和组成的混合模型。这样的结构特点，使模型兼具了和的优点——能够快速处理并记忆大量历史行为特征，并且具有强大的表达能力。

中， ESPN 的隐向量也可以通过(ESPN， Gucci)样本进行更新， Adidas的隐向量也可以通过 (NBC， Adidas)样本进行更新，这大幅降 低了模型对数据稀疏性的要求。甚至对于 一个从未出现过的特征组合 (NBC，Gucci)，由于模型之前已经分别学习过 NBC和 Gucci的隐向量， 具备了计算该特征组合权重的能力，这是 POLY2无法实现的。针对特征交叉的问题，算法工程师经常采用先于动组合特征，再通过各种分析手段筛选特征的方法，但该方法无疑是低效的。取代了单一的权重系数W。

圄于工程团队的限制，即使其他复杂模型的效果有所提升，在没有明显击败逻辑回归模型之前， 公司也不会贸然加大计算资源的投入，升级推荐模型或 CTR 模型，这是逻辑回归持续流行的另一重要原因。使用各种特征的加权是为了综合不同特征对CTR的影响，而不同的特征的重要程度不同，所以为不同特征制定不同的权重，代表不同的重要程度。因此，在优化某模型的目标函数时，只需要对魔表函数进行求导，得到梯度的方向，沿梯度的反方向下降，并迭代此过程直到寻找到局部最小点。那么，在寻找最低点的过程中，沿哪个方向才是下降最快的方向呢？

也可直接从这里下载：链接: https://pan.baidu.com/s/1l6wjwcUzy5G_dIlVDbCkpw 提取码: pkq6。修改main.py中的driver，输入自己数据库的用户名与密码。系统会询问是否需要重新加载并创建知识图谱，在第一次时输入1。

U代表所有用户user集合；I代表所有物品item集合；S代表所有用户的隐式反馈。可知，𝑆⊆𝑈×𝐼。，所有样本构成了S。那些为观察到的数据（即用户没有产生行为的数据）标记为？。因为是基于贝叶斯的 Pairwise 方法，BPR 有两个基本假设一是每个用户之间的偏好行为相互独立，即用户u在商品i和j之间的偏好和其他用户无关。二是同一用户对不同物品的偏序相互独立，也就是用户u在商品i和j之间的偏好和其他的商品无关。

本文来介绍一下显示反馈与隐式反馈，作为我学习推荐系统的笔记以便日后忘记了可以回过头来温习。

本文作为我学习推荐算法时的学习笔记，来总结一些推荐系统中的评测指标通常推荐系统的评测方法有四种：。本文主要介绍线下评测，线下评测是推荐系统的，通常有两种评测方式，一种是，一种是。（1）是一种军事演习式的测试。模拟测试当然无法代替真实数据，但是也能暴露一些问题。通常做法是先收集业务数据，也就是根据业务场景特点，构造用户访问推荐接口的参数。这些参数要尽量还原当时场景，然后拿这些参数数据去实时访问推荐推荐，产生推荐结果日志，收集这些结果日志并计算评测指标，就是离线模拟测试。

本质上，知识图谱主要目标是用来描述真实世界中存在的各种实体和概念，以及他们之间的关系，因此可以认为是一种语义网络。主要作用：通过，建立，通过解决实际带的问题。

本文选择了音乐数据集来进行个性化推荐任务，首先对数据进行预处理和整合，选择两种方法分别完成推荐任务。在相似度计算中根据用户所听过的歌曲在候选集中选择与其最相似的歌曲，存在的问题就是计算时间消耗太多，每一个用户都需要重新计算一遍才能得出推荐结果。在SVD矩阵分解的方法中，我们首先构建评分矩阵，对其进行SVD分解，然后选择待推荐用户，还原得到其对所有歌曲的估测评分值，最后排序返回结果即可。

推荐系统、基于内容、基于用户、协同过滤、矩阵分解、LFM

无监督学习重要的应用有两类：聚类、降维。聚类：k均值基于密度的聚类最大期望聚类降维：潜语义分析（LSA）主成分分析（PCA）奇异值分解（SVD这里主要说下k均值方法。

决策树是一种简单高效并且具有强解释性的模型，广泛应用于数据分析领域。其本质上是一颗自上而下的由多个判断节点组成的树。条件熵-conditional entropy。都压缩到[0,1]区间内。

损失函数是系数的函数，另外还要传入数据的x，y def compute_cost(w , b , points) : total_cost = 0 M = len(points) # 逐点计算平方损失误差，然后求平均数 for i in range(M) : x = points [ i , 0 ] y = points [ i , 1 ] total_cost +=(y - w * x - b) ** 2 # **2 代表平方 return total_cost / M。

学习下b站上尚硅谷的推荐系统的课程，顺便做一下笔记，加深一下印象，并且方便以后回来查看。