DETR 【目标检测里程碑的任务】

最新推荐文章于 2024-08-21 12:58:55 发布
最新推荐文章于 2024-08-21 12:58:55 发布
阅读量1k 收藏 24
点赞数 23
CC 4.0 BY-SA版权
文章标签： 自然语言处理 人工智能 算法 transformer 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38732601/article/details/135104577
DETR通过端到端设计消除目标检测中的NMS问题，利用Transformer处理全局信息并生成集合预测，通过二分图匹配算法优化训练和推理。尤其在大物体检测上表现出色，但对小物体处理仍有提升空间。

paper with code - DETR

标题

End-to-End Object Detection with Transformers

  1. end-to-end 意味着去掉了NMS的操作（生成很多的预测框，nms 去掉冗余的预测框）。因为有了NMS ，所以调参，训练都会多了一道工序，都会比较复杂和麻烦，不是所有硬件都支持的。

所以一个【端到端 detr】 解决了上述的问题，把目标检测转化成了集合预测的问题。

DETR 不再出很多冗余的框，一下就让模型训练和部署变得很简单。

【全新的架构】

摘要

补一嘴。目标检测 任务 天然的就不适合 自回归的架构(GPT系列)。理解一下：检测大物体，不需要依赖检测小物体， 检测右边的物体也不需要先检测左边的物体。且自回归是顺序推理，目标检测想要的一定是并行的一起出框。

引言

之前的一些工作都是不是直接预测目标框，而是设计了一些回归任务 来生成了很多接近重复的框。

再用nms来去除重复的框。所以需要很多的先验知识来设计NMS,如何可以好的去除这些冗余的框。DETR的目标就是消除这个鸿沟。

模型架构

训练整个流程分为以下四步：

  1. 用cnn去抽特征 。把特征拉直 送给transformer
  2. encoder的作用就是学习这些全局的信息，使用encoder的好处是：每一个像素点或者说每一个特征都和其他的特征有交互了，那么就大概可以知道哪块是哪个物体，对于同一个物体就应该只出一个框。
  3. decoder的作用生成框的输出。object query 。 query 限定了要出多少个框。query和self-attention做交互，从而得出了最后的框。默认是100。那么问题来了，这100个框 怎么得到最后的ground truth呢？

    使用了二分图匹配算法。
  4. 预测的框和ground truth的框做匹配，再匹配的框里面去算目标检测的loss。

（补充知识）DETR的二分图匹配损失函数是如何工作的？

DETR的全局损失函数采用了一个称为二分图匹配的方法，通过这种方法可以实现预测与实际目标的唯一匹配。在训练过程中，DETR会推断出一个固定大小的N个预测对象集合，然后通过最优的二分图匹配算法将这些预测对象与实际目标进行匹配。在匹配完成后，会对每个对象的特定损失（如边界框损失）进行优化。这个匹配的过程类似于用于将提议框或锚点与实际目标进行匹配的启发式分配规则。不同之处在于，DETR需要在直接集预测的情况下找到一对一的匹配，而不会出现重复的匹配。实际上，在匹配成本中，对于对象和空集之间的匹配成本并不依赖于预测结果，这意味着在这种情况下，成本是一个常数。DETR的全局损失函数还考虑了类别预测项，通过使用概率而不是对数概率，使得类别预测项与边界框损失项具有可比性，并且在实验中观察到了更好的性能表现。

推理的流程

  1. 和训练的逻辑一致，除了不再需要做训练的loss，直接在最后的输出上，用一个阈值去卡一个置信度。

结论

  1. 检测大物体的性能好，因为对大物体有全局建模的能力了，不再受限于anchor的设置
  2. 小物体就性能差了些。
  3. 对于未来的展望，后续的工作来改进。
    1. Deformable DETR 通过多尺度的特征来解决了小物体的问题。​wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==训练太慢。

相关工作

  1. 集合预测
  2. transformer 并行解码
  3. 目标检测的相关工作 . 性能比较低，往往用手工设计的人工干预。

    1. set based loss Learning non-maximum suppression
    2. relation network Relation Networks for Object Detection cvpr 2018 

RNN系列 对比transformer 并行推理。

DETR 最终能够work的主要原因！！！还是用了transformer

主要算法

  1. 基于集合的目标函数

再说 二分图匹配，抽象点来说，举个例子，如何分配一些工人，去干一些活，让最后的支出最小。

最优二分图匹配，最后能给一个唯一解，能够给到每个人都去做最擅长的工作，让总支出最小。典型：匈牙利算法 工程实现：scipy linear-sum-assignment

  1. 模型结构框架

参考： DETR 论文精读【论文精读】_哔哩哔哩_bilibili

Anchor DETR
gesshoo的博客
03-03 3112
Anchor DETR: Query Design for Transformer-Based Detector （2021.9） 1.DETR的object query是学习的，没有物理意义也不能解释每个query注意哪。作者认为学习出来的object query不能关注特定的区域。本文提出来，object query的是基于anchor point的，这种设计下，每个object query只关注anchor点周围的目标，另外，每个object query可以在一个位置上预测多个目标(多模式)。
目标检测技术的发展：从R-CNN、YOLO到DETR、DINO
DeepAIedu的博客
09-30 2044
OV-DINO的出现标志着在开放域目标检测领域的重大进步，其在处理未见过的物体类别时的能力得到了显著提升。这项技术对于需要适应未知或变化环境的应用具有重要意义，如自动驾驶、机器人视觉、安防监控等。
【计算机视觉 | 目标检测】术语理解7：二值匹配（Binary Matching），DETR中的Object query的理解，匈牙利算法，DETR中的二分图匹配
wzk4869的博客
06-29 7313
【计算机视觉 | 目标检测】术语理解7：二值匹配（Binary Matching），DETR中的Object query的理解，匈牙利算法，DETR中的二分图匹配
基于EasyCV复现DETR和DAB-DETR，Object Query的正确打开方式
科技很有意思
07-18 1971
DETR是最近几年最新的目标检测框架，第一个真正意义上的端到端检测算法，省去了繁琐的RPN、anchor和NMS等操作，直接输入图片输出检测框。DETR的成功主要归功于Transformer强大的建模能力，还有匈牙利匹配算法解决了如何通过学习的方式one-to-one的匹配检测框和目标框。...
深度学习之目标检测（十一）--DETR详解
热门推荐
木卯_THU的博客
09-26 15万+
深度学习之图像分类（十一）DETR详解 深度学习之目标检测（十一）-- DETR详解深度学习之图像分类（十一）DETR详解1. 前言2. DETR 框架2.1 CNN Backbone2.2 Transformer Encoder2.3 Transformer Decoder2.4 FFN3. 二分图匹配和损失函数4. 代码5. 总结 继 Transformer 应用于图像分类后，本章学习 Transformer 应用于图像目标检测的开山之作 – DEtection TRansformer，其大大简化了目标
【计算机视觉 | 目标检测】Object query的理解
wzk4869的博客
04-02 1万+
【计算机视觉 | 目标检测】Object query的理解
Deformable-DETR模型代码
09-24
Deformable-DETR模型的发布，对于研究者和工程师而言，是一个重要的里程碑。它不仅提供了目标检测领域的一个强有力的工具，而且其独特的设计思想为后续的相关研究工作提供了新的方向。由于其优异的性能和创新的设计...
目标检测代码示例.rar
05-22
2. **R-CNN系列**：Region-based Convolutional Neural Networks（R-CNN）、Fast R-CNN和Faster R-CNN是深度学习在目标检测领域的里程碑式工作。R-CNN首先通过Selective Search等方法生成候选区域，然后对每个区域...
目标检测系列模型发展历程
okimaru的博客
03-27 944
VOC-->COCO。
《YOLOv12：目标检测新时代的破局者》
02-22
YOLOv12作为目标检测领域的重大突破，标志着实时目标检测技术进入新的发展阶段。...无论是对技术研究者还是产业应用开发者，YOLOv12都提供了一个高效、准确的目标检测解决方案，对行业来说，这无疑是一个重要的里程碑。
Transformer用于目标检测- End-to-End Object Detection with Transformers
qq_32678471的博客
03-30 6239
文章目录 传统方法存在的问题 该方法的创新点 思想与具体内容 实验结果分析 传统方法存在的问题 当前的目标检测方法（比如Faster RCNN、YOLO与CenterNet等）都不够直观，存在以下两点问题： 不直接预测目标框，而是使用替代的回归和分类去处理大量的propoasls、anchors或者window centers； 模型的效果会受到一系列问题的影响：后处理去消除大量重叠框、anchors的设计、怎么把目标框与anchor关联起来。 优点 借鉴机器翻译和语音识别，二分匹配损失和非自回归t
【OpenMMLab AI实战营第二期笔记】人体关键点检测与MMPose
JeffDing
06-02 778
人体姿态估计（Human Pose Estimation）是计算机视觉领域中的一个重要研究方向，也是计算机理解人类动作、行为必不可少的一步，人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点，目前被广泛应用于动作检测、虚拟现实、人机交互、视频监控等诸多领域。本次课程涵盖人体姿态估计的介绍与应用、2D 姿态估计、3D 姿态估计、DensePose、Body Mesh 以及 MMPose 等内容。从给定的图像中识别人脸、手部、身体等关键点。
关键点检测算法基本知识概括
m0_49998885的博客
08-21 4284
关键点检测（Keypoint Detection）是一种计算机视觉技术，旨在定位对象或人体上特定点的位置。这些点通常是具有重要意义的解剖学或结构特征，例如人的关节点（肘部、膝盖、肩膀等）、面部特征点（眼睛、鼻子、嘴巴等）或物体的关键点（例如汽车的车轮、门把手等）。
【论文】DETR
Aries_young的博客
10-02 3352
Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko. End-to-End Object Detection with Transformers. （pdf） 什么是 DETR ？ DETR 是第一个提出基于 Transformer 的端到端目标检测，没有了 NMS、anchor 等等操作，其效果和 Faster RCNN 相当（在大物体上超过了 .
读论文（5）——DETR
MrBamboo2000的博客
10-29 1199
前言 我们前面学习了这么多目标检测方面的文章，没有一个方法是完完全全能够实现端到端检测，无任何人为引入、手工设计的先验知识的方法，我们十分渴望能出现一个端到端的方法，且这个方法在性能上是可用的。CV领域的方法似乎已经被我们翻了个底朝天了，那么我们能不能从别的领域找灵感呢？DETR就是一个从NLP领域找到解决思路的方法。 原论文题目为《End-to-End Object Detection with Transformers》，从题目中就可以看出，本文借鉴了Transformer这个方法实现了端到端的目标检测
深度学习之目标检测（十一）--DETR详解，大厂程序员35岁后的职业出路在哪
2401_83974117的博客
04-14 3779
DETR 是 Facebook 团队于 2020 年提出的基于 Transformer 的端到端目标检测，没有非极大值抑制 NMS 后处理步骤、没有 anchor 等先验知识和约束，整个由网络实现端到端的目标检测实现，大大简化了目标检测的 pipeline。其原始论文为。结果在 COCO 数据集上效果与 Faster RCNN 相当，在大目标上效果比 Faster RCNN 好，且可以很容易地将 DETR 迁移到其他任务例如全景分割。事实上，在 DETR 之前，就有几个类似思想的工作。
DETR系列文章之–Efficient DETR
weixin_43731232的博客
05-14 908
Efficient DETR发表于2021年CVPR，主要研究思路是期望object query能够被更好的初始化，从而加速网络收敛。论文下载CSDN参考Efficient DETR期望object query能够被更好的初始化，从而加速网络收敛。
从代码角度理解DETR
共同学习
05-27 973
把目标检测视为一个集合预测问题. 从设计上去掉了很多的人为操作,比如anchor设定, nms 等.更关注object与image context 之间的本质, 直接去预测最终的结果集合. 而非"搜索式检测"不需要开发额外的库,比如roi-align, roi-pooling, 这些操作…很容易换一个head就可以去做分割的任务,
DETR的学习与分析
记录
10-24 4142
通过对Transformer在语义分割任务中应用的学习，发现自己对Query-Based的模型十分陌生，而这些模型大多都是基于DEtection TRansformer这一模型设计的，于是便找来DETR的原论文进行学习与分析。
目标检测创新点怎么
最新发布
03-29
### 目标检测领域的最新创新点和研究进展 #### 1. 基于Region Proposal的目标检测框架演进 目标检测领域的一个重要里程碑是由 Ross B. Girshick 提出的 R-CNN 框架。这一框架通过引入 region proposal 和卷积神经网络 (CNN)，取代了传统的滑动窗口加手工设计特征的方法，显著提升了目标检测的效果并推动了深度学习在该领域的广泛应用[^1]。 随着技术的发展，R-CNN 的后续版本 Fast R-CNN 和 Faster R-CNN 进一步优化了性能和效率。特别是 Faster R-CNN 中提出的区域建议网络 (Region Proposal Network, RPN) 实现了端到端的训练过程，大幅减少了计算开销。 #### 2. 单阶段目标检测模型的进步 单阶段目标检测模型（如 YOLO 系列和 SSD）因其高效性和实时性而受到广泛关注。其中，YOLOv1 是最早实现端到端实时目标检测的模型之一。近年来，YOLO 系列不断迭代更新，在速度和精度之间取得了更好的平衡。例如，最新的 YOLO 版本结合了低光照增强模块 IGAB，进一步扩展了其应用场景至复杂环境下的物体检测[^4]。 #### 3. 跨模态融合与多任务学习 为了提高目标检测的鲁棒性和泛化能力，研究人员开始探索跨模态信息融合以及多任务联合学习的技术路径。这些方法通常涉及将不同传感器的数据（如 RGB 图像、深度图、红外图像等）或者多种视觉任务（如语义分割、实例分割、姿态估计等）结合起来共同指导目标检测器的学习过程[^2]。 #### 4. 变分自动编码器与生成对抗网络的应用 变分自动编码器(VAEs)和生成对抗网络(GANs)也被尝试应用于解决目标检测中的某些挑战性问题，比如数据不平衡、标注不足等问题。通过生成高质量的人工样本补充真实世界中稀少类别对象的数量，从而改善整体系统的识别效果。 #### 5. Transformer架构融入目标检测 Transformer 架构最初用于自然语言处理(NLP)，后来被成功迁移到计算机视觉领域。DETR(Detection Transformer)首次展示了如何仅依靠标准 Transformers 来完成整个目标检测任务，开创了一个全新的方向——即无需复杂的 anchor 设计即可达到高精度的结果。此外，还有其他一些基于 Transformer 的改进方案陆续发布出来，它们各自针对特定方面进行了加强，例如 Retinexformer 就是在此背景下诞生的一种专门应对低光条件下图像增强需求的新颖解决方案。 ```python import torch from transformers import DetrForObjectDetection model = DetrForObjectDetection.from_pretrained('facebook/detr-resnet-50') inputs = processor(images=image, return_tensors="pt") outputs = model(**inputs) # 解码预测框坐标及分类得分 probs = outputs.logits.softmax(-1)[0, :, :-1] bboxes_scaled = rescale_bboxes(outputs.pred_boxes[0], image.size) ``` 上述代码片段展示的是 DETR 模型加载及其推理操作的基本流程。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值