目标检测（降低误检测率及小目标检测系列笔记）[通俗易懂]

最新推荐文章于 2024-07-27 16:26:37 发布

原创

最新推荐文章于 2024-07-27 16:26:37 发布 · 1.8k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#目标检测 #笔记 #人工智能

一、什么是负样本

1.负样本

负样本是指不包含任务所要识别的目标的图像，也叫负图像（Negtive Image)。以识别限速牌为例，如下所示，左图包含限速牌，为正样本，右图不包含限速牌，为背景图，即负样本。
正样本：
在这里插入图片描述
负样本：

2. 为什么要训练负样本

训练负样本的目的是为了降低误检测率、误识别率，提高网络模型的泛化能力。通俗地讲就是告诉检测器，这些“不是你要检测的目标”。

3.Faster R-CNN、SSD、YOLO等神经网络模型中的负样本

例如在Faster R-CNN中，在RPN阶段，会根据backbone生成的特征图上的每一点，按照不同尺寸、不同长宽比构建很多的候选锚框。这些锚框按照与Ground Truth box的交并比，选择特定阈值进行分类，比如IOU>0.7的锚框，被视为正锚框，也就是正样本，IOU<0.3的被视为负锚框，也就是负样本。通常负样本的数量会远远超过正样本，因此为了平衡类别比例，提高模型精度，常通过Focal Loss方法或hard example mining算法来恰当地利用正、负样本计算Clasification Loss与regresion Loss，并进行反向传播。因此网络模型中的负样本与负图像是不一样的，不能完全同等看待。

4.如何收集负样本

可以通过下面两种方式收集负样本：

采用本任务场景的不包含目标物体的背景图像，例如你的目标是识别某园区内的行人，那么所有本园区内不包含行人的图片都视作负样本。不要使用不属于本任务场景的负图像，因为其对检测器的性能影响不大。
测试图像中被识别错误的目标所在区域。（通常对原图像进行裁剪，使得裁剪下来的图像只包含误识别的物体，而不包含目标）

5.负样本的标签文件

用于目标检测任务的标签通常是xml文件，在xml文件中没有目标位置相关的节点，只有文件名，文件路径、图片宽度、高度、通道数等信息，这就是负样本的标签文件。关于负样本的标签文件的生成方式，可以参考博客：https://blog.csdn.net/dulingwen/article/details/89669928

6.如何训练负样本

将正负样本集及其标签作为训练集送入模型训练即可。

注意：正负样本必须放在一起训练，不能单独训练负样本，否则经过训练，网络会把所有的图像都识别为背景。正负样本的比例最好为1：1到1：2左右，数量差距不能太悬殊，特别是正样本数量本来就不太多的情况下。

尝试方法一：直接对误检的图像生成一个空的xml文件。（文件中没有任何对象）
训练结果：由于xml文件中没有任何正样本对象，所以网络无法学习到背景信息，使用训练后的模型测试误检的图像，依然会产生误检。（这里网上有人说即使没有正样本，SSD网络在训练时也会产生负样本，本人测试，当整幅图像没有任何正样本时，网络学习不到任何信息，训练时loss=0）

尝试方法二：误检的图像中含有正样本对象，但不是误检的类别。（例如：该图像中人物类别出现误检，但对该图像进行训练时只标注了一个汽车类别，而没有增加人物的正样本类别）
训练结果：这种情况下，对网络进行训练时，会产生loss，并且训练后的模型，不会再把误检图像中的背景误检为人物。

7.怎样消除误检——加强检测器

把使用正样本训练好的模型拿来进行测试，此时会得到一些被错误识别的图片。把这些图片收集起来作为负样本加入到正样本集（如果图片中同时包含误识别物体和目标，可以将图像裁剪，裁剪后的图像包含误识别物体而不包含目标并尽量覆盖原图大部分区域，然后再将其分辨率resize回原图大小），组成新的训练集，送入模型进行训练。
如果负样本的来源只有误识别的图片，那么由于误识别的图片往往占少数，可以利用图像增强（如高斯滤波、对比度增强、锐化、平滑等）的方法扩充负图像数量至和正样本数量相同，并组合在一起。将这样得到的训练集送入模型进行训练，经过若干个epoch，当Loss收敛到稳定值时，再次测试原来的出现误识别的图像你会发现误识别现象基本消失了，并且类似原来误识别的场景将会被正确识别。

下面是扩充负样本数量的代码：

import cv2
from imgaug import angmenters as iaa
import numpy as np
import os

imdir = '/home/dulingwen/Pictures/pic1/'
imgsave_dir = '/home/dulingwen/Pictures/pic2/'