探索与实现 MobileNet V3 网络结构

原创

已于 2025-08-25 19:59:50 修改 · 1.2w 阅读

69 ·

CC 4.0 BY-SA版权

文章标签：

#MobileNet

于 2019-06-21 14:13:26 首次发布

本文介绍了Google在2019年提出的MobileNetV3网络架构，包含Large和Small两个子版本。阐述了其整体架构，分为起始、中间和最后部分，详细讲解了h-switch和h-sigmoid激活函数、卷积计算公式、MobileBlock步骤、SE和残差结构等，还提及提前Avg Pooling等优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MobileNetV3是由Google在2019年3月21日提出的网络架构，参考arXiv的论文，其中包括两个子版本，即Large和Small。

源码参考：https://github.com/SpikeKing/mobilenet_v3/blob/master/mn3_model.py

重点：

PyTorch实现MobileNetV3架构；
h-swish和h-sigmoid的设计；
新的MobileNet单元；
SE结构和Residual结构；
Last Stage：提前Avg Pooling，和使用1x1卷积；

网络结构：

整体架构

MobileNetV3的网络结构可以分为三个部分：

起始部分：1个卷积层，通过3x3的卷积，提取特征；
中间部分：多个卷积层，不同Large和Small版本，层数和参数不同；
最后部分：通过两个1x1的卷积层，代替全连接，输出类别；

网络框架如下，其中参数是Large体系：
Large

源码如下：

def forward(self, x):
    # 起始部分
    out = self.init_conv(x)

    # 中间部分
    out = self.block(out)

    # 最后部分
    out = self.out_conv1(out)
    batch, channels, height, width = out.size()
    out = F.avg_pool2d(out, kernel_size=[height, width])
    out = self.out_conv2(out)

    out = out.view(batch, -1)
    return out

起始部分

起始部分，在Large和Small中均相同，也就是结构列表中的第1个卷积层，其中包括3个部分，即卷积层、BN层、h-switch激活层。

源码如下：

init_conv_out = _make_divisible(16 * multiplier)
self.init_conv = nn.Sequential(
    nn.Conv2d(in_channels=3, out_channels=init_conv_out, kernel_size=3, stride=2, padding=1),
    nn.BatchNorm2d(init_conv_out),
    h_swish(inplace=True),
)