SEAttention 通道注意力机制

最新推荐文章于 2025-07-02 21:13:44 发布

ViatorSun

最新推荐文章于 2025-07-02 21:13:44 发布

阅读量1.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # Transformer 文章标签：深度学习注意力机制 Attention

本文链接：https://blog.csdn.net/ViatorSun/article/details/125471884

Transformer 专栏收录该内容

9 篇文章

订阅专栏

这篇博客介绍了如何在PyTorch中实现Squeeze-and-Excitation（SE）注意力机制，通过SEAttention类详细步骤，并展示了在512通道特征上的应用实例。它源自CVPR2018的论文，用于提升深度卷积网络的特征表达能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

基于通道的注意力机制源自于 CVPR2018: Squeeze-and-Excitation Networks

官方代码：https://github.com/hujie-frank/SENet

在这里插入图片描述

import numpy as np
import torch
from torch import nn
from torch.nn import init


class SEAttention(nn.Module):
    def __init__(self, channel=512,reduction=16):
        super().__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.se = nn.Sequential(nn.Linear(channel, channel // reduction, bias=False),
                                nn.ReLU(inplace=True),
                                nn.Linear(channel // reduction, channel, bias=False),
                                nn.Sigmoid()    )

    def init_weights(self):
        for m in self.modules():
            if isinstance(m, nn.Conv2d):
                init.kaiming_normal_(m.weight, mode='fan_out')
                if m.bias is not None:
                    init.constant_(m.bias, 0)
            elif isinstance(m, nn.BatchNorm2d):
                init.constant_(m.weight, 1)
                init.constant_(m.bias, 0)
            elif isinstance(m, nn.Linear):
                init.normal_(m.weight, std=0.001)
                if m.bias is not None:
                    init.constant_(m.bias, 0)

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.se(y).view(b, c, 1, 1)
        return x * y.expand_as(x)



if __name__ == '__main__':
    feature = torch.randn(50,512,7,7)
    se      = SEAttention(channel=512,reduction=8)
    output  = se(feature)
    print(output.shape)