多目标跟踪——阶段性进展

原创 已于 2025-08-12 08:54:01 修改 · 1.1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#opencv #matlab

于 2020-11-21 10:38:33 首次发布

此篇为第④篇，多目标跟踪系列文章：
基础demor入门①②；公式推导③④；深入分析初始化参数的影响⑤；
① Matlab Kalman滤波例子——小球跟踪解析 ：matlab官方例子，单目标跟踪。匀速模型和匀加速模型
②Matlab Kalman Filter based Multiple object Tracking 官方例子 多目标跟踪_hello world-CSDN博客matlab官方例子，多目标跟踪。注意有匈牙利轨迹分配算法，且其中的距离计算公式为观测与预测的马氏距离，这个来源于1987年的作者的著作中。 
③kalman滤波——公式推导_hello world-CSDN博客_卡尔曼滤波递推公式
理解马氏距离的公式！ 理解残差和残差协方差！
④多目标跟踪——阶段性进展_hello world-CSDN博客_多目标跟踪 多目标综述、Kalman滤波公式推导
⑤kalman简单例子——初始化参数对kalman性能的影响_hello world-CSDN博客
⑥多目标跟踪中的目标是否静止判断_hello world-CSDN博客 判断是否静止，如何计算速度
CheckStatic代码原理解析，数学公式推导。
其它优秀的博客参考：
⑦多目标跟踪（MOT）入门 - 知乎 比较好的多目标MOT综述！
⑧《Towards Real-Time Multi-Object Tracking》论文翻译 - 知乎
⑨ 视频轨迹跟踪分析——他山之石_hello world-CSDN博客

​

​

1. 多目标跟踪：背景建模+kalman+匈牙利

demo参考：

demo1的路线：GMM背景建模→blob分析计算质心→Kalman→匈牙利。这个做的还可以，在于质心的计算比较好，因此在匹配时是否可以加入一些特征进去。

demo3的路线：背景建模进行目标检测→canny边缘检测→findContours找到质心，从半径中筛选一些虚警→Kalman filter预测+校正→匈牙利进行ID匹配→起始、终止、新建等轨迹操作和处理。

  • 这个的处理效果有限。因为在计算轮廓那里不鲁棒。只适用于作者的小细胞类的跟踪。

--------------------------------------

1.0 开源仓库代码构建

仓库地址：cGitHub - Smorodov/Multitarget-tracker: Multiple Object Tracker, Based on Hungarian algorithm + Kalman filter.

  • step1： 检测：①背景建模；②YOLO；③Opencv HOG+SVM
  • step2：检测、轨迹分配：①匈牙利O(N^3)；②加权二分图
    距离分配：

1.0.1 Build

1.0.2 readme如下 

​

​

​

 2025/01/06补充

  • 增加了yolo检测器的tensorrt8 推理；增加了Re-ID的人车重识别（来自openVINO)
  • 漏检时使用视觉搜索功能

1.0.3 win10 编译 Smorodov/Multitarget-tracker仓库代码

① opencv+opencv_contrib 编译，之前有编译好的opencv_cuda。

git clone https://github.com/Smorodov/Multitarget-tracker.git
cd Multitarget-tracker
mkdir build
cd build
cmake . .. -DUSE_OCV_BGFG=ON -DUSE_OCV_KCF=ON -DUSE_OCV_UKF=ON -DBUILD_YOLO_LIB=ON -DBUILD_YOLO_TENSORRT=ON -DBUILD_ASYNC_DETECTOR=ON -DBUILD_CARS_COUNTING=ON
make -j

② cmd下编译，找不到OPENCV_DIR，要修改命令，使用.bat文件
cmake_vs2017.bat 文件位置：

Multitarget-tracker/cmake_vs2017.bat at master · Smorodov/Multitarget-tracker · GitHub

​

③出现错误：找不到OpenCVDIR，要在cmake指令里面指明
④ Cuda和CUDNN安装路径存在空格，解决办法如下：Program Files用Progam~1表示 

CmD空格转义的三种方法，总有一种会解决问题 - 想总结却停留不前？ - 博客园

​ ⑤遇到错误：找不到PKG_CONFIG_EXE 

​
​

 原因：还是在于空格路径没办法解决！
终极解决办法：路径加引号。如 "Visual Studio 16 2019" 就可以识别的。下图红框所示：
​

 1.0.4 build成功了​

1.1 Kalman滤波——单目标跟踪

目标跟踪学习笔记_5(opencv中kalman点跟踪例子) 有实验代码。

匀加速模型：状态观测+实际观测。观测的误差太大，比较信任绿色的结果。

​

​

​

​

kalman.cpp 源文件位置：opencv/modules/video/src/kalman.cpp

​

​

基于深度学习的多目标检测系统——YOLOv5 + UI界面 + 数据集
如需修改或训练 Ultralytics YOLO 模型，请联系 Ultralytics 获取授权。
03-15 379
目标检测任务的目标是识别出图像中所有目标的类别与位置。目标检测不仅需要对目标进行分类，还需要定位目标的位置（通常是通过边界框来表示）。常见的目标检测算法包括R-CNN、Fast R-CNN、Faster R-CNN、YOLO系列和SSD等。R-CNN（Region-based Convolutional Neural Networks）：通过选择候选区域进行分类，性能较好，但速度较慢。YOLO。
端到端多目标跟踪的Transformer解决方案MOTR
最新发布
shangjg3的博客
06-29 81
E2EMotDETRV3是第三代基于Transformer的端到端多目标跟踪模型，将检测与跟踪整合为单一网络，直接输出目标轨迹。相比传统方法，其主要优势在于端到端一体化处理、时序建模能力和全局关联优化。模型核心包括时空特征编码器、轨迹查询生成器、跨帧关联解码器和多任务损失函数。V3版本通过滑动窗口时序注意力、动态查询管理和抗遮挡增强等技术，显著提升了效率和精度。实验显示，在MOT17/20数据集上MOTA达89.5%，ID切换减少40%，推理速度32FPS。适用于智能监控、自动驾驶等场景，支持模型压缩和实时
CVPR：Discriminative Appearance Modeling with Multi-track Pooling for Real-time Multi-object Tracking
DFS的博客
10-08 776
2021CVPR MOT方向 Discriminative Appearance Modeling with Multi-track Pooling for Real-time Multi-object Tracking(面向实时多目标跟踪的多航迹融合判别外观建模) 摘要 在多目标跟踪中，跟踪器在其内存中维护场景中每个对象的外观和运动信息。该内存用于查找轨迹和检测之间的匹配，并根据匹配结果进行更新。许多方法孤立地对每个目标进行建模，并且缺乏使用场景中的所有目标来联合更新内存的能力。当场景中有相似的物体时，
2022年最新目标跟踪顶会论文及模型整理分享
lqfarmer的博客
05-08 1842
啥是Object Tracking（目标追踪）？ 简单点，一幅画面，指定里面一个目标，比如人、动物、车、飞机等等，然后一直死死锁定这个目标，不丢。 有啥用？ 相机跟踪对焦，车辆跟踪，人体、人脸跟踪，手势跟踪等等； 比如： 经常看见电视上，警察叔叔要抓一些犯事儿的人，监控一调，嫌疑人和其车辆等一锁定，他们之前、之后的行踪就都跑不掉了~（当然这里面往往不只有跟踪） 智能交互系统中的手势跟踪：大疆那个用手（掌）控制无人机飞行的功能体验还不...
MATLAB实现多目标跟踪：从原理到实战
weixin_29155599的博客
06-23 887
多目标跟踪（Multi-Object Tracking, MOT）是计算机视觉与图像处理领域中的一项关键技术，它涉及到从视频序列中检测、跟踪并识别场景内的多个动态目标。该技术在智能视频监控、自动驾驶、人机交互以及军事应用等多个领域发挥着重要作用。本章节旨在对多目标跟踪进行初步的介绍，将重点阐述其基本概念、工作流程和技术挑战，为读者打下坚实的理论基础。多目标跟踪指的是在视频序列中对多个移动目标的位置、速度以及运动轨迹进行持续识别与估计的过程。
多目标跟踪MOT(Multiple Object Tracking)最全综述
热门推荐
Orange_sparkle的博客
03-14 5万+
多目标跟踪，一般简称为MOT(Multiple Object Tracking)，也有一些文献称作MTT(Multiple Target Tracking)。在事先不知道目标数量的情况下，对视频中的行人、汽车、动物等多个目标进行检测并赋予ID进行轨迹跟踪。不同的目标拥有不同的ID，以便实现后续的轨迹预测、精准查找等工作。MOT是计算机视觉领域的一项关键技术，在自动驾驶、智能监控、行为识别等方向应用广泛。如下图所示，对于输入视频，输出目标的跟踪结果，包括目标包围框和对应的ID编号。
近几年目标跟踪算法发展综述（中）
00_00_07
04-19 2万+
2014 今年可谓是算法发展的一年，今年的主要的亮点就是相关滤波CF类算法。 在介绍各个算法之前不得不介绍一下今年的一个新的标准VOT【VOT】的问世，VOT选取了25个序列集，使用的标准和Benchmark有略微的差别，使用精度，鲁棒性，总的误差率，速度等。接下来介绍今年的论文 High-Speed Tracking with Kernelized Correlation Filters
ECCV 2024 | 跟踪一切！不惧遮挡！DINO-Tracker：驯服DINO进行自监督点跟踪
阿木寺的博客
07-16 567
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：深蓝AI 编译：阿豹 |审核：Los论文标题：DINO-Tracker: ...
机器视觉——目标跟踪
记录自己的成长
03-02 1万+
摘 要 视觉跟踪技术是计算机视觉领域（人工智能分支）的一个重要课题，有着重要的研究意义；且在军事制导、视频监控、机器人视觉导航、人机交互、以及医疗诊断等许多方面有着广泛的应用前景。随着研究人员不断地深入研究，视觉目标跟踪在近十几年里有了突破性的进展，使得视觉跟踪算法不仅仅局限于传统的机器学习方法，更是结合了近些年人工智能热潮—深度学习（神经网络）和相关滤波器等方法，并取得了鲁棒（robust）、精确、稳定的结果。 视觉目标跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运...
目标检测研究方向——开放域目标检测
DeepAIedu的博客
08-10 1532
训练完成后，模型仅能识别训练数据中出现过的类别。从模型能力上看，在封闭域目标检测中，模型被设计为只识别训练时提供的预定义类别，并且假设测试图像中只会出现这些已知类别，模型通过大量的训练数据来学习这些预定义类别的特征，并进行优化，确保在这些类别的识别上达到最佳效果；相比之下，开放域目标检测要求模型不仅要能够识别训练时提供的已知类别，还需要能够处理在测试数据中可能出现的未知类别，模型需要具备较强的泛化能力，能够在面对未知类别时做出合理的响应，如识别出这是一个未知类别，而不是错误地将其归类为一个已知类别。
数据质量——项目跟踪与监控.pdf
11-18
总的来说，数据质量项目跟踪与监控是一个综合性的过程，涉及到计划执行、问题解决、信息交流和绩效衡量等多个层面。有效的跟踪与监控能够保证数据治理项目的顺利进行，从而提升整个组织的数据质量和业务效率。
【数学与算法】跟踪、预测、单目标、多目标、匈牙利匹配之间的关系
u011754972的博客
10-19 1688
预测： 预测就是针对单一目标来特定分析。 (1) 根据该目标k-1时刻的状态来预测k时刻的状态(得到k时刻的先验估计值)； (2) 然后用k时刻的观测值再来校正k的估计值，(进行加权)得到k时刻的后验估计(最优估计)。 跟踪： 跟踪一般是针对多目标来分析，需要卡尔曼滤波器和匈牙利匹配一起才能做到。 (1) 卡尔曼滤波器先根据所有目标k-1时刻的状态分别预测对应目标k时刻的状态(是先验估计值，并非最优估计，因为还不知道k时刻的观测值，要匹配上之后才知道观测值)； (2) 然后匈牙利匹配把所有目标的k时刻
SiamMOT：引领多目标跟踪技术的新潮流
gitblog_01141的博客
09-14 500
SiamMOT：引领多目标跟踪技术的新潮流 在计算机视觉领域，多目标跟踪（Multi-Object Tracking, MOT）一直是研究的热点和难点。随着深度学习技术的不断发展，越来越多的高效、准确的跟踪算法被提出。今天，我们要介绍的是一款名为 SiamMOT 的开源项目，它以其卓越的性能和创新的设计，正在成为多目标跟踪领域的佼佼者。 项目介绍 SiamMOT 是一款基于区域的双孪生网络多目标跟...
Python 应该怎么学？_python应该
m0_58269070的博客
04-26 524
fn() #执行传入的fn参数@timinglst=[]@timing[i for i in range(0,100000)] #列表生成式。
多目标跟踪入门介绍
qq_53324833的博客
05-10 2562
近些年来随着深度学习的蓬勃发展，基于深度学习的多目标跟踪算法如雨后春笋般涌现出来，这里主要介绍上图中的三个。首先是 Sort 算法，该算法只包含特征提取和数据关联部分，需要额外的检测器提供目标位置信息，它可以与任意的检测器进行组合，对照上述图片对该算法的流程来进行介绍。首先假设当前在第 t 帧，左图表示 t - 1 帧的跟踪结果，首先通过检测器来检测第 t 帧中的所有检测对象。如中间图片中黑色实线框所示，使用卡尔曼滤波预测，第 t - 1 帧中的跟踪对象在第 t 帧中的位置，如图中黑色虚线框所示。
Matlab Kalman滤波例子——小球跟踪解析
hello world
11-10 1703
资源： kalmanFilterForTracking.mUsing Kalman Filter for Object Tracking Matlab官网文档地址：https://ww2.mathworks.cn/help/vision/ug/using-kalman-filter-for-object-tracking.html;jsessionid=cac0cfd160632589c9aaf2e6c729#d122e17467 卡尔曼滤波器具有许多用途，包括控制，导航，计算机视觉和时间...
【精华】多目标跟踪MOT
LeeZhao的博客
07-21 6573
多目标跟踪技术（MOT），作为计算机视觉领域中基础的、重要的研究方向之一，可广泛应用在交通管理、安防监控、自动驾驶、机器人、体育赛事转播等领域，其已成为一大研究热点。
Matlab多目标跟踪示例（二）：Tracking Pedestrians from a Moving Car
哈哈哈哈嘿嘿嘿
11-22 1万+
与上一篇Motion-Based Multiple Object Tracking的不同之处在于： a）将检测子从混合高斯模型换成了聚合通道特征（Aggregate Channel Feature，ACF）。 b）增加了一个辅助数据文件pedScaleTable。 c）更新tracking 和 detection前使用的损失函数不同，从预测跟踪框与检测跟踪框的“欧几里得距离”换成了“重叠率”。 d）在将unassigned tracking删除时，增加了一个判断条件：当置信度没有达到阈值时，也会删除该跟踪框
人脸跟踪：sort多目标跟踪
BigCowPeking
08-22 6746
多目标跟踪中SORT算法的理解 在跟踪之前，对所有目标已经完成检测，实现了特征建模过程。  1. 第一帧进来时，以检测到的目标初始化并创建新的跟踪器，标注id。  2. 后面帧进来时，先到卡尔曼滤波器中得到由前面帧box产生的状态预测和协方差预测。求跟踪器所有目标状态预测与本帧检测的box的IOU，通过匈牙利指派算法得到IOU最大的唯一匹配（数据关联部分），再去掉匹配值小于iou_thresho...
多目标跟踪算法最近
03-21
### 多目标跟踪算法的最新进展 多目标跟踪（Multi-Object Tracking, MOT）作为计算机视觉领域的重要分支，近年来取得了显著进步。以下是关于该主题的一些重要研究方向和技术实现。 #### 基于深度学习的目标跟踪方法 随着深度学习技术的发展，许多现代多目标跟踪算法都依赖于卷积神经网络（CNNs）。例如，DeepSort 是一种经典的两阶段算法，其核心思想是在 Sort 的基础上引入了深度学习模型来提取目标的外观特征[^1]。这种方法能够有效解决因遮挡或误检而导致的身份切换问题。然而，最新的研究已经超越了传统的两阶段框架，提出了更加高效和精确的方法。 #### 单阶段 vs 双阶段架构 双阶段架构通常先进行目标检测再执行关联操作，而单阶段架构则试图在一个统一的框架下完成这两项任务。例如，TrackFormer 将目标跟踪视为集合预测问题，并利用 Transformer 结构直接生成轨迹[^3]。这种端到端的设计不仅简化了流程，还提高了性能指标。 #### 跨帧关联策略 跨帧之间的对象匹配对于保持一致性和稳定性至关重要。传统方法可能仅依靠卡尔曼滤波器估计运动状态；但是，当前先进的解决方案倾向于结合多种线索——包括但不限于空间位置、速度变化以及语义描述符等信息来进行综合判断。具体来说，一些工作探索如何更好地融合光流场数据或者采用图神经网络(GNN)捕捉长期关系模式[^4]。 ```python import torch from torchvision.models.detection import fasterrcnn_resnet50_fpn def load_model(): model = fasterrcnn_resnet50_fpn(pretrained=True) device = 'cuda' if torch.cuda.is_available() else 'cpu' model.to(device).eval() return model model = load_model() # Example usage of the loaded model for object detection (not tracking yet). images_tensor = ... # Preprocess your input images here. predictions = model(images_tensor)[0] boxes = predictions['boxes'].detach().cpu().numpy() scores = predictions['scores'].detach().cpu().numpy() ``` 上述代码片段展示了加载预训练 Faster R-CNN 模型的过程，这是构建复杂跟踪系统的起点之一。实际应用时还需要进一步扩展功能模块以支持完整的MOT逻辑。 #### 数据集与评估标准 为了推动技术创新并公平比较不同方案的效果，社区创建了一系列公开可用的数据资源及其配套度量体系。像MOTChallenge就是这样一个标杆平台，提供了多样化场景下的标注资料供研究人员测试自己的想法[^5]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值