基于区域的卷积神经网络：FastR-CNN与FasterR-CNN详解

### 基于区域的卷积神经网络：Fast R-CNN与Faster R-CNN详解 #### 1. 背景与需求 基于区域的卷积神经网络（R-CNNs）存在空间消耗大的问题，因为提取的特征需要数百GB的存储空间。因此，我们需要一个端到端的深度学习系统，既能解决R-CNN的缺点，又能提高其速度和准确性。 #### 2. Fast R-CNN Fast R-CNN是R-CNN的直接改进版本，由Ross Girshick在2015年开发。它在很多方面与R-CNN技术相似，但通过两个主要变化提高了检测速度和准确性： - 不同于R-CNN先使用区域提议模块再进行特征提取，Fast R-CNN先将CNN特征提取器应用于整个输入图像，然后再提出区域。这样，我们只需对整个图像运行一次卷积网络，而不是对2000个重叠区域运行2000次卷积网络。 - 它扩展了卷积网络的功能，通过用softmax层替换传统的SVM机器学习算法来进行分类。这样，我们就有了一个单一的模型来执行特征提取和对象分类两项任务。 ##### 2.1 Fast R-CNN架构 Fast R-CNN的架构由以下模块组成： 1. **特征提取器模块**：网络从一个卷积网络开始，用于从整个图像中提取特征。 2. **RoI提取器**：选择性搜索算法为每张图像提出约2000个区域候选。 3. **RoI池化层**：这是一个新组件，用于在将感兴趣区域（RoIs）输入到全连接层之前，从特征图中提取固定大小的窗口。它使用最大池化将任何有效RoI内的特征转换为具有固定空间范围（高度×宽度，H×W）的小特征图。 4. **双头输出层**：模型分为两个头： - 一个softmax分类器层，为每个RoI输出离散概率分布。 - 一个边界框回归器层，用于预测相对于原始RoI的偏移量。 ```mermaid graph LR A[输入图像] --> B[特征提取器] B --> C[RoI提取器] C --> D[RoI池化层] D --> E[全连接层] E --> F[Softmax分类器] E --> G[边界框回归器] ``` ##### 2.2 多任务损失函数 由于Fast R-CNN是一个端到端的学习架构，用于学习对象的类别以及相关的边界框位置和大小，因此损失是多任务损失。在对象检测问题中，我们的目标是优化两个目标：对象分类和对象定位。因此，我们有两个损失函数：用于分类损失的$L_{cls}$和用于定义对象位置的边界框预测的$L_{loc}$。 - **分类损失**：第一个输出层为每个RoI输出K + 1个类别的离散概率分布（我们为背景添加一个类别）。概率P通过对全连接层的K + 1个输出进行softmax计算得到。分类损失函数是真实类u的对数损失： $L_{cls}(p,u) = –logp_{u}$ 其中u是真实标签，$u \in {0, 1, 2, ..., (K + 1)}$；$u = 0$是背景；p是每个RoI在K + 1个类上的离散概率分布。 - **回归损失**：第二个输出层为K个对象类中的每个类输出边界框回归偏移量$v = (x, y, w, h)$。损失函数是类u的边界框损失： $L_{loc}(t_{u},u) = \sum L_{1smooth}(t_{i}^{u} – v_{i})$ 其中： - v是真实边界框，$v = (x, y, w, h)$。 - $t_{u}$是预测边界框的校正：$t_{u} = (t_{x}^{u}, t_{y}^{u}, t_{w}^{u}, t_{h}^{u})$ - $L_{1smooth}$是边界框损失，使用平滑L1损失函数测量$t_{i}^{u}$和$v_{i}$之间的差异。它是一个鲁棒函数，据称比其他回归损失（如L2）对异常值更不敏感。 总体损失函数为： $L = L_{cls} + L_{loc}$ $L(p,u,t_{u},v) = L_{cls}(p,u) + [u \geq 1]l_{box}(t_{u},v)$ 其中$[u \geq 1]$是一个指示函数，当被检查的区域不包含任何对象且为背景时，其值为0。这是一种在分类器将区域标记为背景时忽略边界框回归的方法。 |符号|解释| |----|----| |$p_{i}$和$p_{i}^{*}$|$p_{i}$是锚点（i）为对象和背景的预测概率，$p_{i}^{*}$是锚点为对象的二进制地面真值（0或1）| |$t_{i