COD论文笔记 AI_AppInt 2024 Two guidance joint network based on coarse map and edge map

论文动机

Camouflaged Object Detection (COD) 的任务是识别图像中与背景融为一体的对象。现有的许多 COD 方法并未全面考虑对象的整体区域和边缘提供的信息。这种不足导致了对象边界细节的分割较为粗糙或整体对象分割性能欠佳。为了弥补这一缺陷，本文提出了一种基于粗略图和边缘图的双引导联合网络 (TJNet)，旨在同时利用对象的整体信息和边缘信息来引导网络，从而提升 COD 的性能。

创新点

1. 双引导联合网络 (TJNet)：该网络不仅能够精细地分割对象的边缘，还注重对象的整体信息(粗略图)，通过同时利用边缘图和粗略图来引导分割过程，提升了 COD 的性能。
2. 全图注意机制 (FIA)：设计了一种全新的全图注意机制，通过将深层特征融合到浅层特征中，实现了粗略图和最终输出的预测。
3. 边缘感知模块 (EAM)：引入了一个简单有效的边缘感知模块，用于检测对象的边缘。
4. 信息引导模块 (IGM)：设计了信息引导模块，使得网络能够充分利用粗略图和边缘图提供的信息。
5. 特征观察模块 (FOM)：设计了一个特征观察模块，通过跳跃连接和多尺度感知来捕捉多尺度的图像细节和结构。

贡献

1. 新颖网络结构：提出了一个新颖的双引导联合网络 TJNet，通过同时利用粗略图和边缘图来引导分割过程，有效平衡了对象的边缘和整体信息，提升了 COD 的性能。
2. 特征观察模块 (FOM)：设计了一个新的特征观察模块，增强了特征的感受野并调整了通道数量，作为观察者从输入特征中提取有价值的信息。
3. 全图注意机制 (FIA)：设计了一种全新的全图注意机制，灵感来自于人类处理高分辨率图像时参考低分辨率图像丰富注释信息的方法，独特地将深层特征融合到浅层特征中。
4. 信息引导模块 (IGM)：提出了一个新的信息引导模块，灵感来自传统图像增强技术，有效地从边缘图和粗略图中提取有意义的信息并注入到其他网络特征中。

通过这些创新和贡献，本文所提出的 TJNet 网络在三个著名数据集上的表现显著优于现有的最先进模型，在细节边缘分割和整体对象区域搜索方面取得了显著的改进。

就是双分支网络，EAM模块生成边缘预测图，FOM模块的作用是调整通道数和获取同一层内多尺度特征，将FOM输出的特征流向2个去向：1. CGM模块利用FOM输出的特征通过逐层融合深层和浅层特征，最终生成粗略图 (Oc)，尺寸为 1×112×112。粗略图用于指导网络进行对象的初步定位，2.FOM输出的特征和边缘预测图和粗略预测图同时传入给IGM模块，IGM 用于将边缘图 (Oe) 和粗略图 (Oc) 中的信息注入到网络特征中。图中的 EAM 直接参考引用 IJCAI 2022 那篇论文提出的模块。

全图注意机制 (FIA)模块将深层的特征与浅层的特征进行融合，然后利用 1*1卷积分别生成不同层的最终分割结果