这篇博客探讨了轻量化深度卷积模型的发展，特别是Ghost模块和MobileNetV3的结合。Ghost模块通过低成本计算获取冗余信息，以提升模型效率。MobileNetV3利用硬件感知的NAS自动搜索架构，减少了计算量但保持高性能。 ShuffleNetV2则提出了轻量化模型设计原则，包括最小化内存访问、避免过多组卷积等。华为的Ghost模块以小部分输出进行线性操作后与原始特征图相加，达到节省计算资源的效果。在此基础上，文章介绍了使用Ghost模块替换MobileNetV3颈部的设计，以及引入的宽度因子，它与速度成正比，性能成反比。
背景：轻量化深度卷积模型
做到可以与主流模型相比计算量减少了，但是性能却可以一同媲美
一路走来，相关模型的变化
Mobile nets:
v1:深度可分离卷积
v2:反残差，线性瓶颈层（使用线性激活函数）
v3：结合硬件感知的NAS…（自动搜索架构）就很智能不需要人工一个个去尝试，相对来讲更好，也因此你会发现他的那个扩张尺寸很不规律
shufflenets：
v1：点卷积去掉，换成组卷积+shuffle操作，减少点卷积的计算量
v2：提出轻量化模型设计指南：
（a）相同的通道宽度可用最小化内存访问
（b）过多的组卷积会增加内存的访问成本
（c）网络碎片会减低并行度（比如可以想到FPN，很多shortcut会占用很大的显存，从而拖慢速度），所以我们v2没有太多的网络分支
（d）元素级别的操作能减少就减少（特征图那些骚操作）
华为工程当时提出的一个Ghost模块
背景：
冗余信息可以确保输入信息的全面理解，所以作者不打算去除他，而是选择用更低成本的计算量去获取他
The Ghost model
这是他的那个ghostt模块，他将一小部分输出dfm再进行一些线性操作得到，然后与原来的fm进行add（节省计算量），最后是和我们标准的卷积得到的是一样的尺寸
backbone
使用的是mobilenetsv3的框架，其中将他的颈部替换成ghost模块。
还提出了宽度因子，与速度成正比，性能成反比
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
