【论文阅读】Efficient Net

最新推荐文章于 2025-01-13 07:00:00 发布

原创

最新推荐文章于 2025-01-13 07:00:00 发布 · 712 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks.

自AlexNet赢得2012年ImageNet竞赛以来，CNN已成为用于深度学习中各种任务的实际算法，尤其是对于计算机视觉。
从2012年至今，研究人员一直在尝试并尝试提出越来越好的架构，以提高不同任务上模型的准确性。
今天，我们将深入研究最新的研究论文EfficientNet，该论文不仅着重于提高准确性，而且着重于模型的效率。

为什么model scaling非常的重要？

为什么要scaling? 在某些比赛任务上（例如ImageNet分类），要达到SOTA，有时候需要对模型进行改进，但是并不关心模型的效率。那为什么不可以在保证精度的情况下提升效率呢？这样是不是对模型的应用更加的友善呢？

CNN中scaling的定义

CNN的缩放比例分为三个维度：深度，宽度和分辨率。
深度仅表示网络的深度，相当于其中的层数。
宽度仅表示网络的宽度。例如，宽度的一种度量是Conv层中的通道数，而``分辨率’'只是传递给CNN的图像分辨率。
下图（来自论文本身）将使您清楚地了解缩放在不同维度上的含义。我们还将详细讨论这些。
在这里插入图片描述

Depth Scaling (d)

按深度scaling网络是最常见的scaling方式。通过分别添加/删除layer，可以按比例放大和缩小深度。例如，可以将ResNets从ResNet-50扩展到ResNet-200，也可以将它们从ResNet-50扩展到ResNet-18。但是为什么要深度scaling？直觉是，更深的网络可以捕获更丰富，更复杂的功能，并且可以很好地概括新任务。
如果资源足够的话，按理说可以更多的增加网络的深度，但是实际上并非这么干的，因为ResNet-1000层也只是比ResNet-101提高了一点点的准确率而已。