DeepLabv3+改进47:在网络不同位置添加LFE|高效长距离注意力网络

 🔥【DeepLabv3+改进专栏！探索语义分割新高度】
🌟 你是否在为图像分割的精度与效率发愁？
📢 本专栏重磅推出：
✅ 独家改进策略：融合注意力机制、轻量化设计与多尺度优化
✅ 即插即用模块：ASPP+升级、解码器

PS:订阅专栏提供完整代码

论文简介

最近，基于Transformer的方法在各种视觉任务中取得了令人印象深刻的结果，包括通过利用自注意力（SA）进行特征提取的图像超分辨率（SR）。然而，在大多数现有的基于Transformer的模型中，SA的计算非常昂贵，而一些采用的操作可能对SR任务来说是多余的。这限制了SA计算的范围，从而限制了SR性能。在这项工作中，我们提出了一种用于图像SR的高效长距离注意力网络（ELAN）。具体来说，我们首先采用移位卷积（shift-conv）有效提取图像局部结构信息，同时保持与1x1卷积相同的复杂度水平，然后提出了一个组级多尺度自注意力（GMSA）模块，该模块使用不同的窗口大小在非重叠的特征组上计算SA，以利用长距离图像依赖性。然后通过简单地将两个移位卷积与GMSA模块级联，构建了一个高效的长距离注意力块（ELAB），并通过使用共享注意力机制进一步加速。我们的ELAN遵循一个相当简单的设计，通过顺序级联ELABs。大量实验表明，ELAN在性能上甚至优于基于Transformer的SR模型，但复杂度显著降低。