Attention 普通注意力机制详解 (二)

最新推荐文章于 2025-07-01 15:28:00 发布
最新推荐文章于 2025-07-01 15:28:00 发布
阅读量803 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： ml 总结 实战项目讲解 文章标签： 深度学习 注意力机制 seq2seq 翻译
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49139876/article/details/121037623

注意力入门
请添加图片描述

普通注意力机制的了深入理解

在这里插入图片描述
因为GRU每次输入都是一个词一个词的输入,那么普通的Seq2seq框架 就需要每个词算一遍 注意力权重并对解码器输出进行bmm计算,得到加权的解码器词向量输出 这样解码器的GRU每次解码的时候不是仅仅只考虑当前的一个词,而是考虑前后3个词甚至更多个词才会将这个词翻译
前向传播的结构就是这样,那么反向传播就是整个学习过程的精华,

解码器GRU

通过logsoftmax计算概率损失, 这样会知道每个词翻译错误的误差 然后向下传播
知道每个词翻译的误差后 , GRU的权重矩阵分两部分学习

1.单一时间步学习

这里想说的概念是在不考虑时间步循环的gru权重矩阵中 , 它每次翻译的机制要学习的不是 输入一个词 反应对应的词 ,这是查字典. 而应该是输入一个词 这个词是注意力机制加权后的词, 所以它一个词可以代表多个词, 那么就需要学习 多个词的情况下 这个词应该被翻译成什么 我们把这种抽象叫做语义
不好理解就举个例子: ‘xxx早上硬不起来’ 那么如果没有前后文的情况下,这个硬不起来很难消除歧义, 可以理解为困得起不来,也可以理解为阳痿… 那么注意力机制就解决了这种情况, 它将 "昨天晚上xxx3点睡的’’ 这个高纬语义添加到这个词中了, 那么翻译的时候就不会翻译错了…

2.循环时间步学习

最低0.47元/天 解锁文章

新学期VIP享超值加赠
一文读懂「Attention」注意力机制
女王の专属领地
01-08 1500
Attention（注意力）机制如果浅层的理解，核心逻辑就是**「从关注全部到关注重点」**。Attention 机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。视觉系统就是一种Attention机制，将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。销售在销售东西的时候，不同角色关注到的重点不一样。
CBAM (Convolutional Block Attention Module)注意力机制详解
hasakie的博客
01-05 2282
CBAM (Convolutional Block Attention Module) 是一种专为卷积神经网络(CNN)设计的注意力机制，
注意力机制
叶曦禾的博客
04-24 680
Attention机制的引入 通用近似定理：在人工神经网络的数学理论中， 通用近似定理（或称万能近似定理）指出人工神经网路近似任意函数的能力[1]。 通常此定理所指的神经网路为前馈神经网路，并且被近似的目标函数通常为输入输出都在欧几里得空间的连续函数。但亦有研究将此定理扩展至其他类型的神经网路，如卷积神经网路[2][3]、放射状基底函数网路[4]、或其他特殊神经网路[5]。 此定理意味着神经网路可以用来近似任意的复杂函数，并且可以达到任意近似精准度。但它并没有告诉我们如何选择神经网络参数（权重、神经元数量
注意力机制详解
tortorish的博客
10-05 1392
注意力机制算法详解
基于双阶段注意力机制的循环神经网络PyTorch实现
最新发布
weixin_30995917的博客
07-01 967
htmltable {th, td {th {pre {简介：这个项目展示了如何利用PyTorch深度学习框架实现结合双阶段注意力机制的循环神经网络（RNN）。该模型能够更有效地处理序列数据，特别适用于自然语言理解、语音识别等任务。项目涉及双阶段注意力机制、RNN、PyTorch框架、HTTPS通信协议、版本控制、数据预处理、模型实现、训练、评估和部署等多方面的深度学习知识和实践技能。
如何理解注意力机制
weixin_42756682的博客
04-24 5273
如何理解注意力机制 b站视频讲解-5min 深度学习其实就是想学习一个模型可以用于实现 output=f（input）output=f（input）output=f（input） 注意力机制的目的就是对所有的输入向量执行简单的线性加权，所以需要训练模型学习最优的权重值 α， 但是，实际情况中我们不能简单的学习权重，因为输入的向量的长度是可变的，所以需要求解的权重参数 α 的数目也因此是可变的。 此外，对于权重的值，有一个限制，需要进行归一化处理。（也就是α的和应该等于1）。 因此，为了得到权重，注意
【Attention(1)】注意力机制（attention mechanism）是解决信息超载问题的主要手段的一种资源分配方案：两种分类：自上而下和自下而上
Hali_Botebie的博客
04-27 2459
中文名：注意力机制外文名：Attention Mechanism类 别：聚焦式、基于显著性注意力机制（Attention Mechanism）源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度（Acuity），只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。
注意力机制详解系列（三）：空间注意力机制
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-28 2万+
本篇为注意力机制系列第三篇，主要介绍注意力机制中的空间注意力机制，着重详解DCN、Non-local、ViT、DETR等模型，下一篇将对混合注意力机制和时域注意力机制进行讲解。
【AI知识点】交叉注意力机制（Cross-Attention Mechanism）
AI完全体
10-03 2万+
交叉注意力机制（Cross-Attention Mechanism） 是一种在深度学习中广泛使用的技术，尤其在序列到序列（sequence-to-sequence）模型和Transformer 模型中被大量应用。它主要用于不同输入之间的信息交互，使模型能够有效地将来自不同来源的上下文进行对齐和关注，从而帮助模型更好地捕捉两个输入之间的相关性。
numpy实现multi-attention层的前向传播和反向传播
邹九的个人博客
07-23 684
transformer当前主要的结构是attention层，最开始的时候，transformer在NLP内使用的结构，而图像vision则是多使用CNN网络，convolution用的比较多，而且主要是使用anchor框来逐像素点进行检测和分类，虽然当前的图像vision也有anchor-free的网络，但总体来看的话，还是anchor框的网络结构会更好些，transformer应用在图像vision，是从vision-transformer开始的。
注意力机制（Q,K,V）基本概念
Dys_debug的博客
11-27 7157
1. 查询（自主提示）和键（非自主提示）之间的交互形成了注意力汇聚；注意力汇聚有选择地聚合了值（感官输入）以生成最终的输出。2. 注意力汇聚根据不同的概念可分为带参型、非参型。或是拆分为评分函数+softmax的形式
【深度学习】注意力机制
大雨的博客
12-24 1820
注意力机制可以应用于任何类型的输入，而不管其形状如何。在计算能力有限的情况下，注意力机制是解决信息超载问题的主要手段的一种资源分配方案，即将计算资源分配给更重要的任务。注意力一般分为两种：一种是自上而下的有意识的注意力，称为聚焦式（focus）注意力，指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力；另一种是自下而上的无意识的注意力，称为基于显著性（saliency-based）的注意力，由外界刺激驱动的注意，不需要主动干预，也和任务无关。
零基础学nlp【2】 注意力机制(Neural machine translation by jointly learning to align and translate)
rory0114的博客
03-08 1202
零基础学nlp【2】 注意力机制 论文：.Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014 论文快读，论文理解
Self-attention反向传播和梯度消失计算
逐梦苍穹的博客
08-25 1431
Self-attention反向传播和梯度消失计算
论文解读 | Transformer 原理深入浅出
qq_43703185的博客
09-14 2150
原文链接：https://www.jianshu.com/p/c36bfb8c1a17 Attention 机制由 Bengio 团队于 2014 年提出，并广泛应用在深度学习的各个领域。而 Google 提出的用于生成词向量的 Bert 在 NLP 的 11 项任务中取得了效果的大幅提升，Bert 正是基于双向 Transformer。 Transformer 是第一个完全依赖于 Self-Attention 来计算其输入和输出表示的模型，而不使用序列对齐的 RNN 或 CNN。更准确的讲，Transfo
动画图解Attention机制，让你一看就明白
AI公园
05-08 2809
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Raimi Karim编译：ronghuaiyang导读之前分享了几次attention的文章，感觉意犹未...
机器学习5. RNN/LSTM/GRU 反向传播公式推导；encoder-decoder框架/attention机制汇总
xd_ljq的博客
04-15 1823
研究生期间主要科研的内容，先把基本公式推一推。 RNN/LSTM正相传播和BPTT推导 注意，公式中的梯度以某一时刻ttt为例，若要计算某个参数的总梯度，只需要对不同时刻的梯度求和即可。 ...
第十周机器学习笔记：self-attention（注意力机制）、Pytorch学习——损失函数代码实战、反向传播算法代码实战
Zcymatics的博客
08-31 1719
这一周作者主要对注意力机制进行了学习，其中了解了引入注意力机制的原因、注意力机制的使用场景以及注意力机制的原理，此外在pytorch的学习中，作者对三种计算损失函数的方式，比如，绝对平均值误差、均方误差、交叉熵损失进行了代码实战学习。
EMA注意力机制详解
06-04
### EMA注意力机制详解 EMA（指数移动平均）注意力是一种改进的自注意力机制，通过引入**指数衰减权重**增强局部上下文建模能力。其核心原理如下： #### **一、数学原理** 1. **基础EMA计算** 传统EMA公式： $...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值