Mmtracking自定义MOT-17数据集进行多目标跟踪

MMTracking是一款基于PyTorch的视频目标感知开源工具箱,是OpenMMLab项目的一部分，封装了MOT、SOT、VIS等各种算法，对新手来说非常友好，最近想要使用Mmtracking自定义数据集进行多目标跟踪，在标注数据集以及训练过程中遇到各种问题，特此记录一下，我会从数据集标注到训练、预测完整的进行介绍。

一、数据集介绍

官方对自定义数据集的介绍大家可参考以下网址：

自定义数据集 — MMTracking 0.14.0 文档

看完后我觉着参考意义不大，重点就是“将数据离线转换成 CocoVID 格式”，不错的是官方提供了一个MOT17_tiny.zip数据示例，参照这个示例准备数据集，就能保证完全没问题，数据集下载地址：https://download.openmmlab.com/mmtracking/data/MOT17_tiny.zip

关于MOT-17数据集的格式

解压MOT17_tiny.zip文件会看到test和train目录，test不用管，在train目录下有MOT17-02-FRCNN、MOT17-04-FRCNN两个文件夹，实际上对应了两个视频文件，在MOT17-02-FRCNN目录下有det、gt、img1三个文件夹，和一个叫做seqinfo.ini的文件。

det目录存储的其实就是目标识别的标注信息，文件夹下有一个det.txt文件，每行一个标注，代表一个检测的物体

上面每行的含义是：

<frame>, <id>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <conf>, <x>, <y>, <z> 

第一个代表第几帧

第二个代表轨迹编号，咱只需要把他设置成-1就行

bb开头的4个数代表物体框的左上角坐标及长宽

conf代表置信度，咱直接设置成1就行了，手动标注的，肯定置信度为1

最后3个是MOT3D用到的内容，2D检测可以直接忽略不写

总结一下，det.txt文件中保存每张图片目标标注信息，咱们自定义的数据集，在det.txt文件中要写入的内容就是：

图片是第几帧,-1,物体框的左上角x值,物体框的左上角y值,物体框的宽度,物体框的高度,1

一行7个数据，缺一不可。

在MMTracking中会使用这个文件进行目标检测模型的训练，毕竟多目标跟踪并不是一个端到端的过程在，而是目标检测算法+ReID行人重识别算法配合的过程。

在gt目录下存储的是标注的用于训练行人重识别模型的数据，gt目录下只有一个gt.txt文件。

第一个代表第几帧

第二个值为目标运动轨迹的ID号

第3个到第六个数代表物体框的左上角坐标及长宽（和det文件一样）

第7个值为目标轨迹是否进入考虑范围内的标志，0表示忽略，1表示active（0相当于无效数据）

第八个值为该轨迹对应的目标种类

第九个值为box的visibility ratio，表示目标运动时被其他目标box包含/覆盖或者目标之间box边缘裁剪情况。

一行9个数据，缺一不可。

如果你认真看了，就知道，gt.txt中其实包含了det.txt中的所有数据。

img1文件夹保存的是图片帧序列

seqinfo.ini文件中存储的是视频文件信息

[Sequence]
name=MOT17-02-FRCNN
imDir=img1
frameRate=30
seqLength=600
imWidth=1920