- 博客(145)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Beyond Degradation Redundancy: Contrastive Prompt Learning for All-in-One Image Restoration
一体化图像修复，即使用统一模型处理多种退化类型，在设计特定任务提示词方面面临重大挑战，这些提示词需能在多种退化场景下有效引导修复工作。虽然自适应提示学习能够实现端到端优化，但它往往会产生重叠或冗余的任务表征。相反，从预训练分类器得出的显式提示虽然增强了可辨别性，但可能会丢弃重建所需的关键视觉信息。为解决这些局限性，我们引入对比提示学习（CPL），这是一个全新的框架，通过两项互补创新从根本上提升提示与任务的一致性：一个稀疏提示模块（SPM），它能在尽量减少冗余的同时高效捕捉特定退化特征；
2025-07-11 20:36:55
903
原创 Debiased All-in-one Image Restoration with Task Uncertainty Regularization
一体化图像恢复是一项基础的底层视觉任务，在现实世界中有重要应用。主要挑战在于在单个模型中处理多种退化情况。虽然当前方法主要利用任务先验信息来指导恢复模型，但它们通常采用统一的多任务学习，忽略了不同退化任务在模型优化中的异质性。为消除偏差，我们提出一种任务感知优化策略，为多任务图像恢复学习引入自适应的特定任务正则化。具体而言，我们的方法在训练过程中动态加权并平衡不同恢复任务的损失，促使实施最合理的优化路径。通过这种方式，我们能够实现更稳健且有效的模型训练。
2025-07-06 11:14:20
750
原创 Learning to Prompt for Continual Learning
持续学习背后的主流范式是使模型参数适应非平稳数据分布，其中灾难性遗忘是核心挑战。典型方法依赖于排练缓冲区或测试时已知的任务标识来检索已学知识并解决遗忘问题，而这项工作提出了一种持续学习的新范式，旨在训练一个更简洁的记忆系统，且在测试时无需访问任务标识。我们的方法学习动态提示（L2P）预训练模型，以便在不同任务转换下顺序学习任务。在我们提出的框架中，提示是可学习的小参数，保存在记忆空间中。目标是优化提示以指导模型预测，并在保持模型可塑性的同时，显式管理任务不变和特定于任务的知识。
2025-06-28 16:39:02
969
原创 Prompt-Based Ingredient-Oriented All-in-One Image Restoration
图像恢复旨在从退化的观测中恢复高质量图像。由于大多数现有方法都致力于去除单一退化，它们在其他类型的退化上可能无法产生最佳结果，这无法满足现实场景中的应用需求。在本文中，我们提出了一种新颖的面向数据成分的方法，该方法利用基于提示的学习，使单个模型能够高效处理多种图像退化任务。具体来说，我们使用一个编码器来提取特征，并引入包含特定退化信息的提示，以指导解码器自适应地恢复受各种退化影响的图像。
2025-06-27 16:21:50
1006
原创 Learning Dynamic Prompts for All-in-One Image Restoration
例如，AirNet [19] 采用自监督预训练来学习退化表示。PromptIR [20] 引入了一种自适应提示框架，其中提示直接进行参数化，并与恢复模型联合优化。这种端到端的方法利用模型自身的优化来捕捉数据和任务先验，提供了一种高效的解决方案。PromptIR 取得了显著的性能提升，并启发了众多后续研究 [22]、[23]。但是，这些提示学习缺乏明确的约束，可能导致表达和判别能力有限。端到端学习过程受数据集的影响很大，而提示学习缺乏约束可能会导致不同退化类型之间的混淆，无法实现任务感知的提示表示。
2025-06-24 15:06:13
684
原创 InstructIR: High-Quality Image Restoration Following Human Instructions
图像恢复是一个基本问题，涉及从退化的观测中恢复高质量的清晰图像。一体化图像恢复模型可以利用特定于退化的信息作为提示来指导恢复模型，从而有效地从各种类型和程度的退化中恢复图像。在这项工作中，我们提出了第一种使用人工编写的指令来指导图像恢复模型的方法。给定自然语言提示，我们的模型可以从退化的图像中恢复高质量图像，同时考虑多种退化类型。我们的方法InstructIR在包括图像去噪、去雨、去模糊、去雾和（低光照）图像增强在内的多项恢复任务上取得了最先进的结果。InstructIR比以前的一体化恢复方法提高了1dB。
2025-06-22 16:22:01
898
原创 DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION
在本文中，我们将学习过程解耦为表征学习和分类，系统地探究不同的平衡策略如何对长尾识别产生影响。研究结果令人惊讶：（1）数据不平衡在学习高质量表征时可能并非问题；（2）通过最简单的实例平衡（自然）采样学习得到的表征，仅通过调整分类器也有可能实现强大的长尾识别能力。我们进行了大量实验，并在常见的长尾基准测试（如ImageNet-LT、Places-LT和iNaturalist）上创造了新的最先进性能，表明通过使用一种将表示与分类解耦的简单方法，有可能超越精心设计的损失函数、采样策略，甚至是带有记忆的复杂模块。
2025-06-17 21:43:40
787
原创 TPSeNCE: Towards Artifact-Free Realistic Rain Generation for Deraining and Object Detection in Rain
雨天生成算法可能提高雨天场景的去雨算法泛化性和场景理解。但是，由于缺乏适当的约束，它们会产生伪影和失真，并难以控制产生的降雨量。在本文中，我们提出了一个 image-to-image translation framework 来生成真实的雨天图像。我们首先引入了一个Triangular Probability Similarity (TPS)约束来引导生成的图像朝向清晰和多雨的图像，从而最大限度地减少降雨生成过程中的伪影和失真。
2024-12-20 16:09:07
1065
原创 基于深度估计的雾天模拟方法
按照式（1）对不同能见 度的雾天图像进行模拟，其过程如图 2 所示：首先对无 雾目标图像进行深度图估计和大气光值估计，再设定 能见度计算大气消光系数估计透射率图，最后利用大 气散射模型进行雾天图像模拟，得到设定能见度下的 模拟雾天图像。我们可以从双边滤波出发来思考引导滤波，在双边滤波中权重 W 由空间域与色彩域共同决定，距离越近的像素点的贡献越大，色彩域的贡献与颜色的相似性正相关，其实引导滤波也同样如此。可以被不同的窗口中的线性系数求得，且不同窗口得到的输出值不同，因此对这些值求均值，最终得到的。
2024-12-11 21:17:13
960
原创 Momentum Contrast for Unsupervised Visual Representation Learning
将对比学习看成字典查询任务队列里的样本不需要梯度回传，所以可以往队列里塞很多负样本，将字典变得很大移动平均编码器将字典里的特征尽量的保持一致在训练过程中发现，如果有一个很大且比较一致的字典对无监督的对比学习非常有好处。
2024-12-08 13:43:48
805
原创 交叉熵损失
对于第i个样本，它的真实类别标签为yi，模型的输出logits为xi=(xi1,xi2,…有一个二分类问题，真实类别P={1，0} （即类别1的概率为1，类别0的概率为0），而模型预测Q给出了类别1和类别0的概率：Q={0.8，0.2}在分类问题中，最小化KL散度等价于最小化交叉熵损失，因为数据集的熵H（P）是个确定的值，即训练数据的分布是固定的。KL散度是不对称的，衡量的是如果我们用分布Q代替真实分布P，我们会额外损失多少信息，熵代表信息量，熵越高信息量越高，信息量高意味着这件事发生的概率低。
2024-11-27 11:08:26
949
原创 Multistage Enhancement Network for Tiny Object Detection in Remote Sensing Images
小目标检测面临着两个挑战：1、Iou对微小物体位置偏差的高灵敏度2、微小物体低质量特征表示为了解决上述问题，我们提出了多阶段增强网络MENet，该网络完成了对检测器多个阶段微小物体的实例级和特征级增强，由于基于IoU的标签分配极大地恶化了微小物体的正样本，我们首先提出了一种基于中心区域（CR）的标签分配，以在区域建议网络（RPN）中替换它。CR标签分配将落入地面真值框CR中的锚点视为阳性样本，这为微小物体提供了更多的阳性样本。
2024-08-17 17:51:09
686
1
原创 深度学习之参数初始化问题
如果输入不止3个，而是n个输入，y的离散程度将会被进一步放大，当不使用任何激活函数的时候，放大的y值将被累积在反向传播的过程里，这将造成梯度爆炸，如果使用tanh作为激活函数，也有可能因为y的值过大或者过小得到一个非常小或者非常大的梯度，造成梯度爆炸和梯度消失。当参数都初始化为0，两个神经元的梯度一样，初始值一样，最后会导致训练过程中的变化也一样，无法学习更复杂的特征，这种情况称为对称现象。2、方差的线性性质：对于两个随机变量X和Y，如果它们是独立的，那么Var(X+Y) = Var(X) +Var(Y)
2024-08-03 20:49:06
1092
原创 Sobel Operator
边缘是指图像中灰度或颜色强度发生显著变化的区域。Sobel算子是一种用于图像处理的边缘检测算子。它通过计算图像灰度值的梯度来检测图像中的边缘。
2024-07-30 20:25:10
358
原创 pytorch-广播机制
如果对应维度为1，则扩展到相同尺寸，如果对应没有维度，也扩展到相同尺寸，除此以外均无法扩展。B[8] = [0,0,5,0,0,0,0,0] => B[4, 32, 8] 给每一个学生的第三门课加5分。B[1] => B[4, 32, 8] 给每一个学生每一门课加5分。B[4] 无法广播自动扩展，因为维度对不上，产生歧义？A[4, 32 ,8] 4个班级32个学生八门课。什么时候需要使用broadcasting?为什么要使用broadcasting？
2024-07-30 14:35:00
441
原创 Feature Corrective Transfer Learning （2024CVPR）
特征相似性损失Lfs旨在有效地衡量在理想图像上训练的模型特征图与在非理想图像上训练的模型特征图在结构和内容上的差异。该机制确保了平衡的模型训练，优先考虑早期阶段的主要差异以获得整体性能，并随着特征图差异的减少，在后期阶段转向更精细的调整，促进细微的结构对齐，以提高目标检测精度。它评估由半径rL定义的扩展领域内梯度变化的一致性。时变衰减因子，引入了一种动态机制来调整整个训练期间损失函数的响应性，这一因素的实施促进了模型重点的方法转变，从纠正初始训练阶段的突出结构差异到在训练过程的后续阶段磨练更精细的细节。
2024-07-30 11:33:17
710
原创 Pytorch的基本数据类型
pytorch和python的数据类型不同。同一数据放在不同位置也是不一样的数据类型。怎么表示string？每个位置代表一个单词。
2024-07-28 16:15:46
206
原创 Pytorch-手写数字识别
以识别手写数字为例，手写数字从0-9preW3∗W2W1Xb1b2b3上述式子是一个很简单的线性模型，但是线性模型并不能应用到复杂任务上去，我们在每一次线性的后边加入一个激活函数，增强模型的非线性表达能力。H1reluXW1b1H2reluH1W2b2H3reluH2W3b3pre输出是one-hot向量。
2024-07-27 15:05:46
497
原创 目标检测损失计算部分（YOLO）
标准化坐标的增益张量（gain tensor）用于将归一化的目标转换为特定特征层的网格尺度，以便进行匹配和计算。在目标检测模型中，输入图像被划分为多个网格，每个网格负责预测多个锚框。锚框的尺寸在不同特征层上有所不同，以便检测不同尺度的目标。1、增益张量将归一化的目标坐标转换为特征图的网格尺度增强张量的初始值是一个全1的张量，长度为 7，目标信息包括图像索引、类别、x、y，w，h和锚框索引2、更新增益张量以匹配当前特征图的尺度3、将归一化的目标乘以增益张量，以转换为特征图的尺度。
2024-07-26 20:06:09
401
原创 pytorch-梯度下降
在多变量中，梯度方向表示函数值增加最快的方向。1、学习率过大会使算法难以收敛，且波动很大。2、学习率过低可能导致算法收敛过慢。在单变量中，梯度就等于导数。
2024-07-25 20:24:56
1248
1
原创 R-YOLO
提出了一个框架，名为R-YOLO，不需要在恶劣天气下进行注释。考虑到正常天气图像和不利天气图像之间的分布差距，我们的框架由图像翻译网络（QTNet）和特征校准网络（FCNet）组成，用于逐步使正常天气域适应不利天气域。具体来说，我们使用简单而有效的QTNet来生成图像，这些图像继承了正常天气域中的注释，并对两个域之间的间隙进行插值。然后，在FCNet中，我们提出了两种基于对抗性学习的特征校准模块，以局部到全局的方式有效地对其两个领域中的特征表示。
2024-01-29 16:54:18
1198
原创 Domain Adaptive Object Detection for Autonomous Driving under Foggy Weather
大多数自动驾驶的物体检测方法通常假设训练和测试数据之间的特征分布一致，但当天气差异显著时，情况并非总是如此。在晴朗天气下训练的目标检测模型在大雾天气下可能由于域间隙而不够有效。本文提出了一种新的雾天自动驾驶领域自适应目标检测框架。我们的方法利用图像级别和对象级别的自适应来减少图像风格和对象外观的领域差异。我们的方法利用图像级别和对象级别的自适应来减少图像风格和对象外观的领域差异。为了进一步增强模型在具有挑战性的样本下的能力，我们还提出了一个新的对抗性梯度反转层，用于对困难样本进行对抗性挖掘和领域自适应。
2024-01-28 19:20:27
1492
原创 Image Enhancement Guided Object Detection in Visually Degraded Scenes
目标检测准确率在视觉退化场景下降严重。一个普遍的解决方法就是对退化图像进行增强然后再执行目标检测。但是，这是一种次优的方案，而且未必对目标检测的准确率有提升，因为图像增强和目标检测两个任务的不同。为了解决这个问题，我们提出了一种图像增强引导目标检测的方法，以端到端的方式定义了一个检测网络和一个额外的增强分支。具体来说，增强分支和检测分支以并行的方式组织，并设计了一个特征引导模块来连接这两个分支，这优化了检测分支中输入图像的浅层特征，使其与增强图像的浅部特征尽可能一致。
2024-01-27 18:12:04
1522
2
原创 MSFFA-YOLO Network: Multiclass Object Detection for Traffic Investigations in Foggy Weather
这篇文章提出了一种多类别目标检测方法，multiscale feature fusion attention-YOLO（MSFFA-YOLO）网络，可以进行训练并且同时完成三项任务：可见度提升，目标分类，目标定位。这个网络使用yolov7作为子网络，负责学习定位和分类。在恢复网络中，MSFFA结构用来提升可见性。
2024-01-24 21:05:20
1107
原创 MULTISCALE DOMAIN ADAPTIVE YOLO FOR CROSS-DOMAIN OBJECT DETECTION
领域自适应在解决许多应用遇到的领域转换问题方面发挥了重要的作用。这个问题是由于训练用的数据和实际测试的真实场景数据的分布差异造成的。在本文中，我们介绍了一种新的多尺度域自适应YOLO（MS-DAYOLO）框架，该框架在最近引入的YOLOv4对象检测器的不同尺度上使用多个域自适应路径和相应的域分类器来生成域不变特征。我们的实验表明，当使用所提出的MSDAYOLO训练YOLOv4时，以及当在代表自动驾驶应用的挑战性天气条件的目标数据上进行测试时，物体检测性能显著提高。
2024-01-21 18:31:54
1181
3
原创 【无标题】
训练有雾的图片是十分有必要的。第一组为训练正常图像检测出来的结果，第二组为训练有雾图像检测出来的结果，第一组啥也检测不出。训练有雾的图片虽然在有雾图片上检测性能会提升，但是在正常图片上的检测效果却会下降。因此如何阻止检测器在正常图像上的检测效果下降是一个有待解决的问题。
2024-01-21 16:38:53
369
原创 Fog-Aware Adaptive YOLO for Object Detection in Adverse Weather
提出了一种雾自适应YOLO算法。使用一种雾评估算法将图片分为有雾和无雾图片，随后将标准的YOLO应用于正常图片，自适应YOLO应用于有雾图片。
2024-01-19 17:01:07
541
原创 Channel-separation-based Network for Object Detection under Foggy Conditions
现存的一些方法尝试恢复高质量图像，但这会增加网络复杂性并且丢失图像的潜在信息。在这项研究中，一个基于通道分离的检测网络被提出用来保存潜在信息。特别地，雾过滤器用于在图像处理期间执行修剪，以保持图像的潜在信息。通过把深层特征提取替换为一个即插即用模块（MBConvBlock）和使用一个新的CSPBottleNeck和CrossConv联合，我们的模型克服了卷积神经网络固有的缺点，并具有全局感受野和专注于更关键的特征。这个模型使用端到端的方法和混合数据进行训练，因此课题提高模型网络的泛化能力。
2024-01-17 16:31:50
1202
原创 Detection-friendly dehazing: object detection in real-world hazy scenes
提出了一种联合架构BAD-Net，将去雾模块和检测模块连接成一个端到端的方法。另外，设计了了两个分支结构，用注意力融合模块来充分结合有雾和去雾特征，这减少了在检测模块不好的影响，当去雾模块表现不好时。此外，引入了一种自监督雾度鲁棒损失，使检测模块能够处理不同程度的雾度。更重要的是，提出了一种区间迭代数据细化训练策略，用于指导弱监督下的去雾模块学习。在RTTS和VOC数据集上进行实验。
2024-01-15 13:56:55
1421
2
原创 DSNet: Joint Semantic Learning for Object Detection in Inclement Weather Conditions
DSNet可以端到端的解决三个任务：可见性提升，目标分类，目标定位。DSNet包含两个子网络：检测子网和恢复子网。恢复子网通过与检测子网共享特征提取层并采用特征恢复模块来增强可见性。
2024-01-14 09:55:51
1332
2
原创 TPH-YOLOv5: Improved YOLOv5 Based on Transformer Prediction Head for Object Detection on Drone-captu
针对以下问题：1、无人机在不同的高度航行，物体的尺度变化很大，这给网络的优化带来了负担2、高速低空飞行给密集的物体带来了运动模糊，这给物体识别带来了巨大的挑战提出了TPH-YOLOv5：1、将原来的检测头换成了TPH（Transformer Prediction Heads）来探索具有自注意力机制的预测潜力2、添加了CBAM，以在对象密集的场景中找到注意力区域3、此外，还使用了数据增强、多尺度测试、多模型集成和利用额外的分类器。
2024-01-07 13:36:54
671
原创 YOLOv5-Fog: A Multiobjective Visual DetectionAlgorithm for Fog Driving Scenes Based onImproved YOLOv
1、基于改进的yolov5，提供了一个有雾驾驶场景的多目标检测网络。2、利用虚拟场景的数据集和图像的深度信息构建了一个合成雾数据集3、经过结构重新参数化修改的ResNeXt模型作为backbone4、建立了一个FEM（feature enchancement module）来应对有雾图片缺乏特征的问题，并且用注意力模块关注更多有用的特征。5、实验表明所提出的多目标检测网络在速度和准确率上优于原始yolov5。
2024-01-04 22:00:12
847
2
原创 ACCV：DENet: Detection-driven Enhancement Network for Object Detection under Adverse Weather Conditio
解决的问题：恶劣环境下的目标检测提出了一个极其轻量级的增强模型（45k个参数），称为DENet。为了有效和高效地增强，在DENet中应用了基于Laplacian-pyramid的结构。GEM为增强LF分量设计和开发了DEM（细节增强模块）自适应增强细化HF分量通过级联DENet和yolov3，获得了一种称为DE-YOLO的端到端检测框架，只使用正常的检测损失，不需要高质量的GT图像与不同类型的SOTA方法相比，所提出的方法提供最可靠的检测结果，同时所需的运行时间非常有限。
2023-12-30 16:55:38
1571
1
原创 算法设计与分析
本质上就是从i个物品中选择一定数量的物品在一定空间限制的前提下，求这些物品的最大总价值，我们可以定义一个二维数组dp[i][j]，这个数组的值就表示从前i件物品进行选择，在不超过容量j的前提下所满足最大的物品总价值。（注：此处的第i件物品对应与数组下标i。
2023-11-24 16:48:15
281
原创 Opencv-图像插值与LUT查找表
opencv中resize()函数的实现原理0就是通过插值算法，如果不对应用某种算法进行设置，则默认采用双线性插值算法。双线性插值(Bilinear Interpolation)：双线性插值是用原图像中4(22)个点计算新图像中1个点，效果略逊于双三次插值，速度比双三次插值快，属于一种平衡美，在很多框架中属于默认算法。双三次插值(Bicubic interpolation)：双三次插值是用原图像中16(44)个点计算新图像中1个点，效果比较好，但是计算代价过大。LUT查找表实际上就是一种映射规则。
2023-10-24 22:23:00
1092
原创 C++数组
从内向外理解，Parray的含义：首先是圆括号括起来的部分，*Parray意味着Parray是个指针，接下来观察右边，可知道Parray是个指向大小为10的数组的指针，最后观察左边，指导数组中的元素是int类型；arry是个引用，观察右边可知arry引用的对象是一个大小为10的数组，最后观察左边指导，数组的元素类型是指向int的指针。C++新标准引入了两个名为begin和end的函数，这两个函数与容器中的两个同名成员功能类似。严格来说，C++语言中没有多维数组，通常所说的多维数组其实是数组的数组。
2023-10-21 16:32:44
161
原创 Yolov7代码解析
增加了 Aux Head，Aux head也参与损失函数的计算并反向传播参与协助前面的层更新参数。多了一条有两个卷积的支路，扩大了深度，输出的通道数比原来多1.25倍，扩大了宽度。Conv = Conv2d+BatchNorm2d+siLL激活函数。
2023-10-19 09:42:46
891
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人