RT-DETR改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注

已于 2025-05-26 15:59:34 修改
阅读量441 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： RT-DETR改进专栏 文章标签： 深度学习 RT-DETR 计算机视觉 目标检测
于 2024-12-03 09:25:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42591591/article/details/144191978

一、本文介绍

本文记录的是基于EfficientViT的RT-DETR轻量化改进方法研究。EfficientViT 通过构建多尺度线性注意力模块将全局感受野与多尺度学习相结合，并以此模块为核心构建网络，构建轻量级且硬件高效的操作，以提升性能并降低硬件部署难度。

本文在替换骨干网络中配置了原论文中的EfficientViT_M0、EfficientViT_M1、EfficientViT_M2、EfficientViT_M3、EfficientViT_M4和EfficientViT_M5 6 种模型，以满足不同的需求。

模型 参数量 计算量 推理速度
rtdetr-l 32.8M 108.0GFLOPs 11.6ms
Improved 20.6M 64.8GFLOPs 10.2ms

专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

了解本专栏 订阅专栏 解锁全文
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
Limiiiing的博客
10-28 824
本文记录的是基于EfficientViT的YOLOv11轻量化改进方法研究。通过构建多尺度线性注意力模块将全局感受野与多尺度学习相结合，并以此模块为核心构建网络，构建轻量级且硬件高效的操作，以提升性能并降低硬件部署难度。本文在替换骨干网络中配置了原论文中的和6种模型，以满足不同的需求。
更换 RT-DETR 主干网络为 【ResNet-18】【ResNet-34】| 已支持 18/34/50/101/152 全系列尺寸
YOLOv8项目贡献者
06-05 1721
已支持 18/34/50/101/152 全系列尺寸
YOLOv11改进 | 主干篇 | YOLOv11引入EfficientViT替换Backbone
tsg6698的博客
10-02 1483
与之前的高分辨率密集预测模型依赖于大量的softmax注意力、硬件效率低下的大内核卷积或复杂的拓扑结构来获得良好的性能不同，我们的多尺度线性注意力实现了全局感受野和多尺度学习（两个 高分辨率密集预测的理想功能）仅具有轻量级和硬件高效的操作。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~3.3 在tasks.py里引用。
YOLOv8最新改进系列：主干网络改进-YOLOv8+EfficientNetV2，引入渐进式学习策略、自适应正则强度调整机制，提升模型检测效果！
B站 Ai学术叫叫兽的文案地
09-14 5898
YOLOv8最新改进系列：主干网络改进-YOLOv8+EfficientNetV2，引入渐进式学习策略、自适应正则强度调整机制，提升模型检测效果！
【YOLO11改进 - Backbone主干】微软 EfficientViT替换YOLO11的BackBone: 高效视觉transformer与级联组注意力，平衡速度与精度
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
11-04 364
【YOLO11改进 - Backbone主干】微软 EfficientViT替换YOLO11的BackBone: 高效视觉transformer与级联组注意力，平衡速度与精度
RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-03 1万+
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-4。项目介绍在大家购买专栏后，加入学习
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
热门推荐
Limiiiing的博客
10-11 3万+
如今各种网络模型更新迭代越来越快，计算机视觉相关的文章也越来越多，多到一些普通，通用的改进点无法达到发表的要求。本专栏正是解决这个问题！如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-24 6792
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-24。项目介绍在大家购买专栏后，加入学
YOLOv10改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
10-11 7630
如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
RT-DETR改进策略：BackBone改进|Swin Transformer，最强主干改进RT-DETR
m0_47867638的博客
09-16 2414
计算机视觉建模长期以来一直由卷积神经网络 (CNN) 主导。从 AlexNet [38] 及其在 ImageNet 图像分类挑战中的革命性表现开始，CNN 架构通过更大的规模 [29, 73]、更广泛的连接 [33] 和更复杂的卷积形式 [67, 17, 81]。随着 CNN 作为各种视觉任务的骨干网络，这些架构的进步导致了性能改进，从而广泛提升了整个领域。另一方面，自然语言处理 (NLP) 中网络架构的演变采取了不同的路径，如今流行的架构是 Transformer [61]。
YOLOv11融合CVPR[2020]轻量化卷积模块Ghost Module模块及相关改进思路|YOLO改进最简教程
深度学习炼丹师，偶尔分享炼丹技术!
11-11 3470
论文速览：CNN 的最新进展主要致力于设计更复杂的架构以提高其表示学习能力。在本文中，我们考虑在不调整模型架构的情况下改进 CNN 的基本卷积特征转换过程。为此，我们提出了一种新的自校准卷积，它通过内部通信显式扩展了每个卷积层的视野，从而丰富了输出特征。特别是，与使用小内核（例如 3 × 3）融合空间和通道信息的标准卷积不同，我们的自校准卷积通过一种新颖的自校准操作，在每个空间位置自适应地构建长距离空间和通道间依赖关系。因此，它可以通过明确地整合更丰富的信息来帮助 CNN 生成更具鉴别性的表示。
YOLOv11改进 | 主干/Backbone篇 | 利用目标检测轻量化网络MobileNetV2替换Backbone（yolov11系列全系轻量化）
Snu77的博客
10-31 2198
本文给大家带来的改进机制是，其是专为移动和嵌入式视觉应用设计的轻量化网络结构。其在MobilNetV1的基础上采用反转残差结构和线性瓶颈层。这种结构通过轻量级的深度卷积和线性卷积过滤特征，同时去除狭窄层中的非线性，以维持表征能力。MobileNetV2在性能上和精度上都要比V1版本强很多，其在多种应用（如对象检测、细粒度分类、面部属性识别和大规模地理定位）中都展现了一定的有效性。YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录一、本文介绍二、MobileNetV2的框架原理。
YOLO11新王登基！实战改进版，杀穿顶会！
2401_82426425的博客
01-08 1060
众所周知，YOLO一直是发论文的大热门！而做为其的最新版本，必然会在2025成为各大顶会的“宠儿”！主要在于：一方面，YOLO其他系列的改进早已卷成“红海”，而YOLO11提出才几个月，目前还比较新，可发挥空间很大。另一方面，其在不牺牲准确度的情况下，还具有更高的计算效率，尤其在资源受限的情况下，非常适用。但也面临模型复杂度高、依赖标注数据的质量和数量等问题。这便给我们论文创新提供了机会！想往这方向发论文的伙伴，可以从这些方面入手：模型架构优化（像是引入注意力机制、多尺度特征融合；模型轻量化；
EfficientViT是什么？
m0_46583515的博客
09-20 1451
与卷积神经网络(CNN)相比，ViT具有更强的全局信息捕获能力和远程交互能力，特别是在扩大训练数据大小和模型大小时表现出优于CNN的准确性[3]，但是，在对高分辨率移动场景应用时，ViT不如CNN，此时便引入了EfficientViT，及高效率的ViT[4]。ViT(Vision Transformer)是2020年提出、于2021年发表的的将自然语言处理(NLP)领域的transformer引入自然语言处理(CV)领域用于分类的训练模型，在公开数据集的训练中超过了Res，且越大的数据集训练效果越好。
YOLOv11 模型量化综述
old_power的博客
01-23 1742
YOLOv11 是 Ultralytics 推出的最新目标检测模型，具有更高的精度和更少的参数量，适用于多种计算机视觉任务。模型量化是优化 YOLOv11 推理速度和减少资源占用的关键技术之一。以下是关于 YOLOv11 模型量化的详细解读和方法总结：
YOLO11涨点优化：小目标检测 | 多头检测器提升小目标检测精度
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
10-12 3364
引入多头检测器助力YOLO11，添加一个微小物体的检测头暴力提升小目标检测性能
YOLOv11改进：轻量化模型MobileNetv4
最新发布
qq_44231797的博客
04-24 2699
它通过整合多种先进技术，如通用反转瓶颈（UIB）、针对移动设备优化的注意力机制（Mobile MQA），以及先进的架构搜索方法（NAS），实现了在不同硬件上的高效运行，成功打造出一系列在移动设备上表现最优的模型，兼顾计算效率和精度，实现了在多种硬件平台上的帕累托最优性能。**MobileNetV4（MNv4）**是最新一代的MobileNet，其核心原理在于实现了跨各种移动设备的高效性能,**预处理（pre-process）：**0.6毫秒（ms）**推理（inference）：**6.6毫秒（ms）
YOLO11涨点优化：轻量化改进 | Ghostnet、G_ghost、Ghostnetv2家族大作战（二）：华为Ghostnetv2，端侧小模型性能新SOTA | NeurIPS22
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
10-10 487
捕捉空间信息的能力很弱，这可能会妨碍性能的进一步提高,GhostNetV2 是 GhostNet 的增强版本
YOLO11改进-模块-引入量化脉冲驱动自注意力机制 Q-SDSA 解决量化带来的性能下降
qq_64693987的博客
02-18 1184
Q-SDSA 旨在解决量化过程中脉冲信息失真（SID）问题。研究发现，Q-SDSA 的信息呈现双峰分布，而 ANN 中的信息遵循正态分布，这使得 Q-SDSA 的信息表示能力受限。为解决该问题，从信息熵理论中获取灵感，将其转化为互信息熵最大化问题。具体通过双层优化策略实现，在较低层次引入信息增强的 LIF（IE-LIF）神经元，调整脉冲分布以最大化信息熵；在较高层次提出细粒度蒸馏（FGD）方案，使 Q-SDSA 的信息与 ANN 的信息对齐，最小化条件熵。
YOLOv8改进 | 主干篇 | 利用RT-DETR特征提取网络PPHGNetV2改进YOLOv8（超级轻量化精度更高）
01-04
为了使YOLOv8更加轻量化并提升检测精度，可以采用来自RT-DETR的PPHGNetV2作为新的特征提取器[^1]。这种方法不仅能够增强模型的表现力，还能减少计算资源的需求。 #### 替换原有主干网络 原有的YOLOv8主干网络被...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值