RFAConv:创新空间注意力和标准卷积操作

AI智韵

已于 2023-06-27 06:00:42 修改

阅读量1.1w

点赞数 5

CC 4.0 BY-SA版权

分类专栏：高质量AI论文翻译文章标签：深度学习计算机视觉神经网络

于 2023-05-29 18:58:21 首次发布

不能复制，转发

本文链接：https://blog.csdn.net/m0_47867638/article/details/130934486

高质量AI论文翻译专栏收录该内容

184 篇文章 ¥99.90 ¥299.90

订阅专栏

本文提出了感受野注意力（RFA），一种新的注意力机制，旨在解决卷积核参数共享问题，特别是对于大尺寸卷积核。RFAConv是一种新的卷积操作，结合了RFA和标准卷积，减少了计算成本和参数增量，同时显著提升了网络性能。在ImageNet-1k、COCO和VOC数据集上的实验验证了RFAConv的优越性，尤其是在目标检测和语义分割任务上。文章还讨论了现有空间注意力机制的局限性，并提出了一种轻量级操作来加速特征提取。

摘要

论文链接：https://arxiv.org/pdf/2304.03198.pdf
空间注意力被广泛用于提高卷积神经网络的性能。然而，它有一定的局限性。本文对空间注意力的有效性提出了一种新的视角，即空间注意力机制从本质上解决了卷积核参数共享问题。然而，空间注意力生成的注意图中包含的信息对于大尺寸的卷积核来说是不够的。因此，本文提出一种新的注意力机制，称为感受野注意力(RFA)。现有的空间注意力，如卷积块注意力模块(Convolutional Block attention Module, CBAM)和协同注意力(coordination attention, CA)仅关注空间特征，未能完全解决卷积核参数共享的问题。相比之下，RFA不仅关注感受野空间特征，而且为大尺寸卷积核提供了有效的注意力权重。RFA提出的感受野注意力卷积操作(RFAConv)是一种替代标准卷积操作的新方法。它提供了几乎可以忽略不计的计算成本和参数增量，同时显著提高了网络性能。在ImageNet-1k、COCO和VOC数据集上进行了一系列实验，以证明所提方法的优越性。特别重要的是，对于当前的空间注意力机制，是时候将焦点从空间特征转移到感受野空间特征了。这样可以进一步提高网络性能，达到更好的效果。相关任务的代码和预训练模型可以在https://github.com/Liuchen1997/RFAConv上找到。