CVPR论文《DETRs Beat YOLOs on Real-time Object Detection》读后思维导图

作者观察到NMS对YOLOs的速度和准确性有负面影响。（NMS进行后处理，不仅降低了推理速度，而且引入了导致速度和精度不稳定的超参数并且不同的场景对召回率和准确率的重视程度不同，需要仔细选择合适的NMS阈值，这阻碍了实时检测器的发展DETRs为消除NMS提供了另一种选择，然而，高昂的计算成本限制了它们的实用性，阻碍了它们充分发挥排除NMS的优势在本文中，作者提出了实时检测转换器(RT-DETR)解决NMS带来的影响，这是所知的第一个实时端到端对象检测器。

文中提出了第一个实时端到端对象检测器RT-DETR。通过借鉴高级DETR，分两步构建RT-DETR：首先专注于在不牺牲准确性的同时提高速度，然后在不牺牲速度的同时提高准确性。具体来说，设计了**一个高效的混合编码器**，通过分离同一尺度上的相互作用和跨尺度融合，以加快多尺度特征的处理速度。然后，提出了**不确定性最小化的查询选择**，为解码器提供高质量的初始查询，从而提高了准确性。此外，RT-DETR支持通过调整解码器层数来适应各种场景的灵活速度调整，而无需重新训练。

【计算机视觉 | 目标检测】RT-DETR：DETRs Beat YOLOs on Real-time Object Detection

基于Transformer的端到端检测器（DETR）的高计算成本问题尚未得到有效解决，这限制了它们的实际应用，并使它们无法充分利用无后处理的好处，。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了端到端的速度基准。为了避免NMS引起的推理延迟，作者提出了一种实时检测Transformer（RT-DETR），这是第一个实时端到端目标检测器。具体而言，

该论文提出了一种名为Real-Time DEtection TRansformer（RT-DETR）的新型实时目标检测框架，据称是首个能够在速度和准确性上同时超越现有先进YOLO检测器的端到端对象检测器。RT-DETR通过设计高效的混合编码器和不确定性最小的查询选择机制，显著提高了检测速度和准确性，并支持通过调整解码器层数来灵活调整检测速度，以适应不同的实时场景需求。

cvpr2024 DETR在实时目标检测上击败YOLO论文翻译

近年来，基于transformer的端到端检测器(DETRs)取得了令人瞩目的进展。然而，DETRs的高计算成本问题并没有得到有效解决，这限制了它们的实际应用，并阻碍了它们充分利用无后处理的好处，如非最大抑制(NMS)。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了端到端的速度基准。为了避免NMS造成的推理延迟，本文提出了实时检测变压器(RT-DETR)，这是本文所知的第一个实时端到端对象检测器。

DETRs Beat YOLOs on Real-time Object Detection DETRs在实时目标检测中超越YOLO

最近，基于端到端Transformer的检测器（DETRs）已经取得了显著的性能。然而，DETRs的高计算成本问题尚未得到有效解决，限制了它们的实际应用，并阻止它们充分利用无后处理的优点，例如非最大值抑制（NMS）。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了一个端到端速度基准。为避免NMS引起的推理延迟，我们提出了Real-Time DEtection TRansformer（RT-DETR），这是我们所知道的第一个实时端到端物体检测器。

目标检测是一项基本的视觉任务，涉及识别和定位图像中的目标。现代目标检测器有两种典型的体系结构：基于CNN，基于Transformer。在过去的几年里，人们对基于CNN的目标检测器进行了广泛的研究。这些检测器的架构已经从最初的两阶段发展到一阶段，并且出现了两种检测范式，Anchor-Base和Anchor-Free。这些研究在检测速度和准确性方面都取得了重大进展。基于Transformer的目标检测器（DETR）由于消除了各种手工设计的组件，如非最大值抑制（NMS），自提出以来，受到了学术界的广泛关注。

这篇论文介绍了一种名为Real-Time DEtection TRansformer (RT-DETR)的新方法，旨在解决现有端到端基于Transformer的目标检测（DETRs）在实时目标检测中的高计算成本问题。作者首先分析了现代实时目标检测器中非极大值抑制（NMS）对推理速度的影响，并建立了一个端到端速度基准。为了避免NMS引起的推理延迟，提出了RT-DETR，据作者所知，这是第一个实时端到端目标检测器。

最近，基于端到端Transformer的检测器（DETRs）已经取得了显著的性能。然而，DETRs的高计算成本问题尚未得到有效解决，限制了它们的实际应用，并阻止它们充分利用无后处理的优点，例如非最大值抑制（NMS）。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了一个端到端速度基准。为避免NMS引起的推理延迟，我们提出了Real-Time DEtection TRansformer（RT-DETR），这是我们所知道的第一个实时端到端物体检测器。

YOLO 系列因其在速度和准确度之间的合理权衡而成为最受欢迎的实时物体检测框架。然而，我们观察到 YOLO 的速度和准确度受到 NMS 的负面影响。最近，基于 Transformer 的端到端检测器 (DETR) 提供了一种消除 NMS 的替代方案。然而，高计算成本限制了它们的实用性，阻碍了它们充分利用排除 NMS 的优势。在本文中，我们提出了实时检测变换器 (RT-DETR)，这是我们所知的第一个解决上述困境的实时端到端物体检测器。我们借鉴先进的 DETR 分两步构建 RT-DETR：首先我们专注于在。

我们的 RT-DETR-L 在 COCO val2017 上实现了 53.0% 的 AP，在 T4 GPU 上实现了 114 FPS，而 RT-DETR-X 实现了 54.8% 的 AP 和 74 FPS，在速度和精度上都优于所有相同规模的 YOLO 检测器。我们的早期实验表明，LLaVA展示了令人印象深刻的多模型聊天能力，有时在看不见的图像/指令上表现出多模态 GPT-4 的行为，并且与合成多模态指令跟随数据集上的 GPT-4 相比，产生了 85.1% 的相对分数。标题：可视化指令调优。

文章目录前言二、使用步骤1.更改官方detr中308行的类别数2.根目录加入检测文件总结 前言 由于最近研究DETR目标检测，但是发现官方给的代码缺少了predict文件，于是自己写了一个，但是写代码的过程中也想到了一些问题，比如DETR没有采用NMS，该如何避免预测框重叠。总之按照论文方法简单实现了一下DETR的predict。 一、DETR的predict实现过程 由于只是测试用，仅仅简单实现了一下，有其他需要的可以自己更改，过程比较简单，就是加载训练权重，图像预处理送入网络进行前传，对得到的pr

预训练模型的词表是固定的。它不认识你自定义的特殊标记（如实体标记、领域术语、新表情符号等）。掌握如何向预训练模型的分词器和词表中添加新的 Token（包括普通 Token 和特殊 Token），理解其对模型的影响，并学会正确调整模型权重。新 Token 的 ID（30523, 30524）在模型的 Embedding 矩阵里。想象一下，你给模型一个任务：“找出文本里的汽车和隧道实体”。增加了词表大小（比如从 30522 增加到 30524），模型的 Embedding 矩阵（这里标记了一个实体！

本文提出一种基于多通道表面肌电信号(sEMG)和深度卷积神经网络(CNN)的下肢多关节运动估计方法。研究采集了骑行和步行任务中的7通道sEMG信号，通过带通滤波、全波整流等预处理后构建CNN模型，用于估计髋、膝、踝关节角度。实验结果表明，所提CNN模型在骑行任务中三个关节的估计均方根误差分别为3.8886°、2.8199°和3.1148°，精度显著优于传统BPNN和RBFNN模型。该研究为下肢康复外骨骼的人机交互控制提供了理论基础，未来将探索sEMG时频特征对模型的影响及非理想环境下的意图识别问题。