【Block总结】EfficientViT中的多尺度线性注意力模块即插即用

已于 2025-03-10 06:36:01 修改
阅读量1.1k 收藏 16
点赞数 27
CC 4.0 BY-SA版权
分类专栏： Block总结 文章标签： 人工智能 深度学习 计算机视觉
于 2025-03-02 16:24:19 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/145964383

论文信息

  • 标题: EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
  • 作者: Han Cai, Junyan Li, Muyan Hu, Chuang Gan, Song Han（MIT/浙江大学/清华大学/MIT-IBM Watson AI Lab）[3][7]
  • GitHub: mit-han-lab/efficientvit
  • 研究背景: 高分辨率密集预测（如语义分割、超分辨率）在自动驾驶、计算摄影等领域应用广泛，但现有模型存在计算成本高、硬件部署效率低的问题[3][7]。
    在这里插入图片描述

核心创新点

  1. 多尺度线性注意力（Multi-Scale Linear Attention）

    • 替代传统Softmax注意力，通过ReLU线性注意力
了解本专栏 订阅专栏 解锁全文
YOLOv10涨点改进：如何魔改注意力进行二次创新，高效替换PSA | NEU-DET为案列进行展开
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
05-28 6388
在NEU-DET案列进行可行性验证，1）mAP50从0.683提升至0.698；2）mAP50从0.683提升至0.695;
【Block总结】轻量多尺度线性注意力LiteMLA，即插即用
AI浩
02-05 453
EfficientViT通过引入多尺度线性注意力机制，成功解决了高分辨率密集预测中的计算瓶颈问题。该模型在多个标准数据集上表现出色，显著提升了计算效率，同时保持了高性能，适用于自动驾驶、医疗图像处理等多个领域。EfficientViT为未来的视觉模型开发提供了新的思路和方向。
YOLO11改进-注意力-引入多尺度卷积注意力模块MSCAM
qq_64693987的博客
12-25 3488
MSCAM（多尺度卷积注意力模块）的设计旨在通过对特征图进行多维度的注意力加权，从而提升特征的判别性和丰富性，进而提高模型在医学图像分割等任务中的性能。注意力机制通过自动学习特征图中不同部分的重要性，对特征进行加权处理。在 MSCAM 中，这种机制分为通道注意力和空间注意力两个维度。1通道注意力：旨在学习每个通道的重要性。不同通道可能包含不同类型的特征信息，通过为每个通道分配不同的权重，可以突出重要通道的特征，抑制无关通道的特征。空间注意力：关注特征图中的不同空间位置。
YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
B站 Ai学术叫叫兽的文案地
04-18 3022
YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
多尺度变形注意力模块和多级特征聚合模块
小嘤熊的博客
11-08 1564
3️⃣C15 -C25 沿通道轴连接以获得具有多尺度变形感受野的新特征图，注意力图 A 是通过在这个新连接的特征图上应用 3 × 3 卷积层和 sigmoid 激活函数生成的。通过这种方式，MSDAM从具有大的多尺度可变形感受野的特征图中生成注意力图，从而可以更好地拟合各种形状和大小的遥感对象，并为遥感图像生成更精确的注意力图。（2）遥感图像中的物体实例具有变形和大尺度变化的特征，而具有固定形状和单尺度感受野的特征图C5很难很好地拟合这些物体并预测出精确的遥感图像注意力图。相应生成的特征图表示为于C05。
YOLO11改进-模块-引入多频率多尺度注意力（MFMSA）模块 提高多尺度、小目标
qq_64693987的博客
02-18 1938
模拟人类视觉处理机制：人类视觉系统在观察事物时，能自动融合不同尺度和频率的信息，精准理解周围环境。受此启发，MFMSA block 致力于模拟这一过程，更好地处理医学图像。医学图像中病变大小差异极大，像肿瘤、息肉和细胞等，其尺寸各不相同，需要多尺度特征才能精准定位和分割这些区域。同时，由于医学图像采集方式的特殊性，图像的频率变化比尺度变化更明显，多频率信息对于构建高效的医学图像分割模型起着关键作用。多尺度与多频率信息融合：MFMSA block 先借助预训练的 ResNeSt 网络来提取输入图像的特征。
(即插即用模块-Attention部分) 十二、(ICASSP 2023) EMA 多尺度注意力
wei582636312的博客
11-19 929
这篇论文中，作者先是重新审视了Coordinate Attention。指出CA忽略了完全空间位置之间相互作用的重要性，以及使用1x1卷积时存在的问题，即有限的感受域阻碍了局部跨通道交互的建模和利用上下文信息。因此，在CA的基础上，作者提出了一种新的高效多尺度注意力模块（Efficient Multi-Scale Attention Module）。
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
Limiiiing的博客
10-28 824
本文记录的是基于EfficientViT的YOLOv11轻量化改进方法研究。通过构建多尺度线性注意力模块将全局感受野与多尺度学习相结合，并以此模块为核心构建网络，构建轻量级且硬件高效的操作，以提升性能并降低硬件部署难度。本文在替换骨干网络中配置了原论文中的和6种模型，以满足不同的需求。
每日Attention学习5——Multi-Scale Channel Attention Module
xiongxyowo的博客
05-09 1128
MS-CAM的核心思想在于，通过改变空间池化的大小，可以在多个尺度上实现通道注意力。为了尽可能保持轻量级，我们只是在注意力模块内将局部上下文添加到全局上下文中。我们选择点卷积（PointWise Conv）作为局部通道上下文融合器，它只利用每个空间位置的点级通道交互。
(即插即用模块-Attention部分) 六十三、(2024 CVPR) MLKA 多尺度大核注意力
最新发布
wei582636312的博客
05-03 703
为了解决如何有效地建立不同区域之间的长距离相关性，并避免由于大卷积核带来的“块效应”问题。这篇论文在 LKA 的基础上提出了一种。，MLKA 的设计动机是为了解决图像超分辨率任务中，MLKA 结合了 大卷积核分解 和 多尺度机制 来实现这一目标。
（脑肿瘤分割笔记：二十六）用于医学图像分割的多尺度自引导注意力
weixin_43921949的博客
09-08 2632
用于医学图像分割的多尺度引导注意力
YOLO系列自研改进：基于注意力机制的多尺度特征提取模块
weixin_47060902的博客
05-04 708
YOLO系列自研改进：基于注意力机制的多尺度特征提取模块
双多尺度注意力网络（DMSANet: Dual Multi Scale Attention Network）
qq_40107571的博客
10-29 2825
双多尺度注意力网络
线性注意力机制
qq_45889056的博客
03-31 2999
特性Linformer核心方法特征映射 + 结合律优化低秩投影压缩KKK和VVV复杂度ONO(N)ON（严格线性）ON⋅kON⋅k（近似线性）是否保留 Softmax❌ 替换为线性近似✅ 保留原始 Softmax是否需要投影矩阵❌ 无额外参数✅ 需学习EKEVE_K, E_VEK​EV​适用场景通用序列任务（生成、分类）超长序列（文档、图像）近似误差较高（依赖特征映射的合理性）较低（低秩假设成立时）开源实现GitHub。
MUSE: PARALLEL MULTI-SCALE ATTENTION FOR SEQUENCE TO SEQUENCE LEARNING
Jeaksun的博客
06-05 1607
在顺序学习中，自我注意机制被证明是非常有效的，并在许多任务中取得了显著的改善。然而，自我注意机制也并非没有缺陷。虽然自我注意可以模拟极长的依赖关系，但深层的注意力往往过于集中在单一的表征上，导致对局部信息的充分利用，并难以表征长序列。在这项工作中，本文探索了序列数据上的并行多尺度表征学习，努力捕捉长程和短程语言结构。为此，本文提出了并行多尺度注意(MUSE)和MUSE-SIMPLE。本文将重点放在机器翻译上，提出的方法在性能上比Transformer有了很大的提高，特别是在长序列上。...
简单图解一下线性注意力机制
zenRRan的博客
09-16 7304
知乎：刀刀宁链接：https://zhuanlan.zhihu.com/p/718156896线性注意力机制的文章有很多了，在本篇笔记中，我们简单地对各种方法进行一下图解比较，串一下当前的线性注意力机制，涉及的公式极少，主要梳理逻辑脉络。本文会从 state space model 中间状态模型这条主线，来梳理 RNN、LSTM，再到 Retentive、GLA 等 Linear Attentio...
语义分割模型 注意力模块Attention（学习笔记）
m0_64931337的博客
01-17 1800
深度学习入门：注意力机制的理解
[Transformer]Deformable DETR: deformable transformers for end-to-end object detection
qq_37151108的博客
11-09 4438
Deformable DETR:可变Transformer用于端到端的目标检测AbstractSection I IntroductionSection II Related WorkSection III Revisting Transformers and DETRPart 1 Multi-Head Attention in TransformersSection IV MethodPart 1 Deformable TransformerPart 2 Additional Improvements a
深入理解图像处理中的多重多尺度注意力机制——MDAF模块解析
qq_18943707的博客
03-14 858
在深度学习领域，尤其是在计算机视觉方面，不断涌现新的模型和算法来解决复杂的图像处理任务。其中，自注意力（self-attention）机制因其强大的特征捕获能力而受到广泛欢迎。然而，在某些场景下，传统的自注意力可能无法充分捕捉到多尺度特征信息。为了解决这个问题，Multiscale Dual-Representation Alignment Filter（MDAF）模块应运而生。本文将详细解析MDAF模块的实现原理，探讨其在图像处理中的优势和应用场景，并通过代码示例展示如何使用该模块进行特征提取。
MAB，多尺度注意力块|即插即用
04-02
嗯，用户想了解多尺度注意力块（MAB）的即插即用实现方式或示例代码。首先，我需要确认多尺度注意力块的基本概念。多尺度注意力通常指在不同尺度或层次上提取特征，并通过注意力机制融合这些信息。常见的应用可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI浩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值