DIN论文官方实现解析

深度学习CTR预估的基本方法和缺陷 基于深度学习CTR预估的基本方法 基于深度学习的CTR预测被广泛的应用，这些方法的基本思想是类似的：将大规模的稀疏特征以分组（group-wise manner ）的方式映射到低纬度的嵌入向量（embedding vectors），再进一步转换为固定长向量（fixed-length vectors），最后拼接到一起给全连接层来学习特征间的非线性关系。该方法与传统的逻辑回归相比，能省去大量特征工程的工作并增强模型能力，通常称之为 Embedding&MLP方

文章目录一、摘要&前言二、阿里展示广告系统中用户行为数据特征的背景介绍二、阿里广告业务特征&DIN提出思路三、DIN（DEEP INTEREST NETWORK 深度兴趣网络）3.1 提出思路3.2 具体方案3.3 特征表示3.4 base模型3.5 DIN结构3.6 Mini-batch Aware Regularization（基于mini batch的自适应正则）3.7 Data Adaptive Activation Function（数据自适应激活函数 Dice）四、GAUC五、代

DIN论文阅读 Deep Interest Network for Click-Through Rate Prediction https://arxiv.org/pdf/1706.06978.pdf Embedding layer：把高维稀疏的输入转成低维稠密向量， 每个离散特征下面都会对应着一个embedding词典， 维度是D×KD\times KD×K， DDD表示隐向量的维度， KKK表示的是当前离散特征的唯一取值个数 pooling layer and Concat layer： poolin

DIN(Deep Interest Network)是由阿里妈妈精准定向广告算法团队在KDD2018提出的针对电商场景深入理解用户兴趣的预估模型，也可适用于其他场景。 主要贡献： 指出了使用固定长度的向量来表达用户多样性的兴趣的局限性，设计了新颖的Deep Intrest Network，它引入了局部激活单元(local activation unit)来自适应地从给定广告的历史行为中学习用户兴趣的表达。 开发了两种技术来训练工业级深度网络：i) mini-batch aware的正则化，避免了在NN的巨

本论文设计的 prompt 以及思路让 LLM 在解决 Text2SQL 任务上有了不错的表现，产生了与最先进的微调方法相当甚至更优的结果。但是，本文的思路需要多轮与 LLM 交互，从而产生了巨大的花费和延迟，论文给出，在使用 GPT4 响应 Spider 数据集中 question 时表现出大约 60s 的延迟。

本专栏文章会在本博客和知乎专栏——Sunny.Xia的深度学习同步更新，对于评论博主若未能够及时回复的，可以知乎私信。未经本人允许，请勿转载，谢谢。 一、什么是DIN？ DIN全称为deep interest network，在网络中引入了注意力机制，本质上可以理解为weighted-sum pooling。通过权重的方式，将用户兴趣的多样性以及当前候选商品仅与用户一部分兴趣有关这一特点考虑了进来。建议大家去看一下论文原文，此外博主还参考了下面三篇博客。文章内容侧重点各不相同，大家可以综合看看以便加深理

DIN论文阅读笔记 1. 主要贡献 1.1 注意力机制 在深度学习运用在点击率预测的方法中，首先将大规模稀疏输入特征映射到低维嵌入向量中，然后按照分组方式变换为定长向量，最后连接在一起馈入多层感知器以学习非线性关系特征。 通过这种方式，无论候选广告是什么，用户特征都被压缩成一个固定长度的表示向量。但是使用定长的向量会带来瓶颈，这将会使 Embedding&MLP方法从历史信息中捕获用户的多样化的兴趣带来困难。本文提出了DIN模型，可以: 1.1.1 从用户到商品层面 使用兴趣分布代表用户多样化的兴趣

DIN多兴趣发现模型分析 用户多兴趣推荐问题引入 　　假如你对推荐系统有所了解，应该就会知道现行多数模型或者说算法，关注的都是如何去挖掘用户一方面的兴趣，来达到对用户精准的实施推荐的目的。通过文献的阅读我们发现，神经网络模型目前也已经被广泛地应用于各种推荐系统中。但他们都是怎么做的呢？是的，这些基于神经网络的推荐算法通常只会从用户的行为序列中学习到一个用户表征向量（Embedding），但是这个统一的Embedding往往无法反映用户在一段时期内的多种不同的兴趣。举个例子，我们现在假设有一个女性用户A，

论文地址：https://arxiv.org/abs/1706.06978DIN是阿里发表在 KDD2018 上的一篇关于对用户行为序列建模的一篇论文。论文出了一种新型模型： 深度兴趣网络（DIN）。通过设计一个局部激活单元来自适应地学习用户对某一广告历史行为的兴趣表征，从而解决了这一难题。这种表征向量会随不同的广告而变化，从而大大提高了模型的表达能力。此外，论文还提出了迷你批量感知正则化和数据自适应激活函数，它们可以帮助训练具有数亿个参数的工业深度网络。

为了使其足够强大，一个简单的方法是扩大嵌入向量的维数，不幸的是，这将大大增加学习参数的大小。固定长度向量的使用是一个瓶颈，这给embedding和mlp方法从丰富的历史行为中有效捕获用户的不同兴趣带来了困难。的非零值的数量在不同的实例中是不同的，导致相应的嵌入向量列表的长度是可变的。由于全连接网络只能处理固定长度的输入，通常的做法是通过池化层对嵌入向量列表进行变换，得到固定长度的向量。的值在某种程度上被视为用户兴趣强度激活的近似值，同一个用户，有相同行为序列情况下，对于感兴趣的广告，其。

本文收录在推荐系统专栏，专栏系统化的整理推荐系统相关的算法和框架，并记录了相关实践经验，所有代码都已整理至推荐算法实战集合(hub-recsys)。 目录 一. 论文浅析 1.1 注意力机制-attention 1.2激活函数-Dice 1.3 评价指标-GAUC 1.4自适应正则-Adaptive Regularization 二.代码解读 2.1 数据处理 2.2 ...

点击率预测时工业应用中一项重要的任务，比如在线公告。最近，基于深度学习的模型被提出，类似一个Embedding&MLP的模型。在这些模型中，大规模的稀疏特征首先被映射成低维的特征向量，然后以组式的转换成固定长度的向量，最后连着一起输入到多层感知机学习特征之间的非线性关系。这种方法，用户特征被压缩成固定长度的表示向量，而忽略了候选广告是什么。这个固定长度的表示向量成了应用瓶颈，给Embedding&MLP模型从丰富的历史行为中有效学习用户多样化兴趣带来了困难。

一、前言 今天介绍阿里巴巴的DIN网络，不得不说，阿里妈妈的大佬是真的多，经常都会更新非常多的创造性的东西，比如DIN中使用的自适应正则化技术以及Dice激活函数以及注意力机制的使用，并且值得注意的是DIN网络中使用的注意力机制还挺多的，哈哈哈，下面就来介绍一下阿里妈妈推荐部门大佬们的主要工作吧； 论文地址：https://arxiv.org/abs/1706.06978 代码地址：http...

阿里巴巴的是一种用于点击率预测（CTR）的深度学习模型，特别针对电商场景中用户兴趣多样化和动态变化的特性设计。其核心思想是通过动态捕捉用户历史行为中与当前候选商品相关的兴趣。

DIN 深度兴趣网络与 Dice 激活函数 Keras 实现。

阿里DIN论文研读笔记 摘要 背景：目前业界主流的CTR预估模型一般是采用Embedding+MLP模式。具体地说，就是首先使用Embedding技术将大规模的稀疏输入特征转化为低维的稠密向量，然后将拼接起来喂给MLP网络来学习特征之间的非线性关系。 问题：这种做法的问题是生成用户Embedding向量的时候未能考虑到用户对当前候选广告的兴趣，而是对用户的历史行为兴趣一视同仁，不能捕捉用户的兴趣爱好。 解决：通过一个局部激活单元给用户的历史行为Embedding加权，反映用户对候选广告的兴趣。 用户行为