高级卷积神经网络模型介绍

# 高级卷积神经网络模型介绍 ## 1. Inception网络 Inception网络于2014年推出，当年赢得了ImageNet挑战赛。此后，作者发布了该架构的多个改进版本。其名称部分源自“我们需要深入挖掘”的网络梗，与电影《盗梦空间》有关。 Inception网络背后的理念源于图像中物体具有不同尺度这一基本前提。标准CNN中不同层的单元具有固定的感受野大小，难以处理不同尺度的物体。为解决此问题，论文作者提出了由Inception块组成的新颖架构。Inception块从一个公共输入开始，将其拆分为不同的并行路径（或塔），每个路径包含不同大小滤波器的卷积层或池化层，最后将不同路径的输出拼接在一起。 ### 1.1 Inception v1 Inception v1块是GoogLeNet网络架构的一部分，有四条路径： - 1×1卷积，作为输入的一种中继器。 - 1×1卷积，后跟3×3卷积。 - 1×1卷积，后跟5×5卷积。 - 步长为1的3×3最大池化。 块中的层使用填充，使输入和输出具有相同的形状（但深度不同）。该块的另一个主要创新是使用下采样的1×1卷积，以避免输出深度的指数级增长，从而可以创建更深的网络。 完整的GoogLeNet具有以下属性： | 属性 | 详情 | | --- | --- | | 下采样阶段 | 利用两个卷积层和两个最大池化层将输入大小从224×224减小到56×56，然后再进入Inception块。 | | Inception v1块数量 | 九个Inception v1块。 | | 卷积阶段结束方式 | 全局平均池化。 | | 辅助分类器 | 有两个额外的分类输出（具有相同的真实标签），在训练时，总损失是辅助损失和实际损失的加权和。 | | 参数数量和深度 | 共有690万个参数，深度为22层。 | ### 1.2 Inception v2和v3 Inception v2和v3一起发布，提出了几个改进的Inception块。新的Inception块A将5×5卷积分解为两个堆叠的3×3卷积，还将n×n卷积分解为两个堆叠的不对称1×n和n×1卷积，提高了效率。 此外，还引入了新的Inception块B和C。Inception v3使用批量归一化，更受欢迎，具有以下属性： | 属性 | 详情 | | --- | --- | | 下采样阶段 | 利用步长卷积和最大池化将输入大小从299×299减小到35×35，然后再进入Inception块。 | | Inception块组织 | 三层Inception块A、五层Inception块B和两层Inception块C。 | | 卷积阶段结束方式 | 全局平均池化。 | | 参数数量和深度 | 有2390万个参数，深度为48层。 | ### 1.3 Inception v4和Inception - ResNet 最新版本的Inception网络引入了三个新的简化Inception块，包括7×7不对称分解卷积、平均池化代替最大池化以及带有残差连接的新Inception - ResNet块。 Inception - ResNet系列模型具有以下共同属性： | 属性 | 详情 | | --- | --- | | 下采样阶段 | 利用步长卷积和最大池化将输入大小从299×299减小到35×35，然后再进入Inception块。 | | 主体结构 | 由三组四个残差 - Inception - A块、七个残差 - Inception - B块、三个残差Inception - B块以及组间的特殊缩减模块组成。 | | 卷积阶段结束方式 | 全局平均池化。 | | 参数数量 | 约有5600万个权重。 | ## 2. Xception网络 所有之前讨论的Inception块都将输入拆分为多个并行路径，每个路径先进行降维的1×1跨通道卷积，然后进行常规的跨通道卷积。而Xception的作者认为深度可分离卷积（DSC）是Inception块的一种极端版本，每个深度输入/输出切片对代表一个并行路径。 Xception块与DSC有两个区别： - 在Xception中，1×1卷积先进行，而在DSC中最后进行，但操作顺序可能不重要。 - Xception块在每个卷积后使用ReLU激活，而DSC在跨通道卷积后不使用非线性激活。 完整的Xception网络具有以下属性： | 属性 | 详情 | | --- | --- | | 输入处理 | 从卷积和池化操作的入口流开始，将