25、移动卷积神经网络与自编码器：原理、部署与应用

移动卷积神经网络与自编码器：原理、部署与应用

1. 移动卷积神经网络

在移动设备上部署卷积神经网络模型时，面临着内存受限的挑战。为了解决这个问题，研究人员提出了多种技术，包括模型重构、量化和使用TF Lite进行模型转换和预测。

1.1 模型重构

• MobileNet v1 ：通过使用深度可分离卷积和网络瘦身技术，实现了在内存受限设备上以AlexNet的准确率运行模型。
• MobileNet v2 ：将残差块重新设计为倒置残差块，进一步减少了内存占用并提高了准确率。
• SqueezeNet ：引入了使用元参数配置组和块属性的计算高效宏观架构搜索概念。
• ShuffleNet v1 ：通过重构和通道洗牌，展示了在如微控制器等极度受限内存设备上运行模型的能力。

在消融研究中，作者发现复杂度与准确率的最佳权衡是减少因子为1（无减少），并将组分区数设置为8。以下是ShuffleNet中通道分组和洗牌的代码示例：

x = Lambda(lambda z: K.reshape(z, [-1, height, width, n_partitions, 
                                   grp_in_channels]))(x)   
x = Lambda(lambda z: K.permute_dimension