高级卷积神经网络模型深度解析

### 高级卷积神经网络模型深度解析 #### 1. Inception网络概述 Inception网络于2014年推出，当年便赢得了ImageNet挑战赛。此后，作者对其架构进行了多次改进。其名称部分源于网络流行语“We need to go deeper”，与电影《盗梦空间》相关。 Inception网络的设计理念基于图像中物体具有不同尺度这一前提。标准CNN各层单元的感受野大小固定，难以有效检测不同尺度的物体。为解决此问题，Inception网络采用了由Inception块组成的架构。Inception块将输入数据分成不同的并行路径，每个路径包含不同大小的卷积层或池化层，以对同一输入数据应用不同的感受野，最后将各路径的输出拼接起来。 #### 2. Inception v1 Inception v1块是GoogLeNet网络架构的一部分，具有以下四条路径： - 1×1卷积，作为输入的一种中继。 - 1×1卷积后接3×3卷积。 - 1×1卷积后接5×5卷积。 - 步长为1的3×3最大池化。 块中的层使用填充，使输入和输出具有相同的形状（但深度不同）。此外，该块使用1×1卷积进行下采样，以减少各路径的深度，避免输出深度的指数级增长，从而能够构建更深的网络。 完整的GoogLeNet具有以下特性： - 与ResNets类似，先进行下采样阶段，利用两个卷积层和两个最大池化层将输入大小从224×224减小到56×56。 - 网络包含九个Inception v1块。 - 卷积阶段以全局平均池化结束。 - 网络使用辅助分类器，在不同的中间层有两个额外的分类输出，训练时总损失是辅助损失和实际损失的加权和。 - 模型共有690万个参数，深度为22层。 #### 3. Inception v2和v3 Inception v2和v3同时发布，提出了对原始v1的多个改进的Inception块。新的Inception块A具有以下改进： - 将5×5卷积分解为两个堆叠的3×3卷积，可在达到相同感受野大小的情况下减少参数数量。例如，单个5×5层的权重总数（不包括偏置）为25，而两个堆叠的3×3层的权重总数为18，效率提高了28%。 - 将n×n卷积分解为两个堆叠的不对称1×n和n×1卷积。例如，将3×3卷积分解为1×3和3×1卷积，效率可提高33%。 此外，还引入了Inception块B和C，其中块C的不对称卷积是并行的，输出深度更高。这两个版本还使用了批量归一化。 Inception v3更受欢迎，具有以下特性： - 网络先进行下采样阶段，利用步长卷积和最大池化将输入大小从299×299减小到35×35。 - 层组织为三个Inception块A、五个Inception块B和两个Inception块C。 - 卷积阶段以全局平均池化结束。 - 有2390万个参数，深度为48层。 #### 4. Inception v4和Inception - ResNet 最新版本的Inception网络引入了三个新的简化Inception块，包括7×7不对称分解卷积、平均池化代替最大池化以及带有残差连接的新Inception - ResNet块。 Inception - ResNet系列模型具有以下特性： - 网络先进行下采样阶段，利用步长卷积和最大池化将输入大小从299×299减小到35×35。 - 模型主体由三组四个残差 - Inception - A块、七个残差 - Inception - B块、三个残差Inception - B块以及组间的特殊缩减模块组成。 - 卷积阶段以全局平均池化结束。 - 模型约有5600万个权重。 #### 5. Xception网络 Xception网络的作者认为深度可分离卷积（DSC）是Inception块的一种极端版本，每个深度输入/输出切片对代表一个并行路径。Xception块与DSC有两个区别： - 在Xception中，1×1卷积先进行，而在DSC中最后进行，但操作顺序可能并不重要。 - Xception块在每个卷积后使用ReLU激活，而DSC在跨通道卷积后不使用非线性激活。实验表明，无非线性深度卷积的网络收敛更快且更准确。 完整的Xception网络具有以下特性： - 以卷积和池化操作的入口流开始