跨模态行人重识别：Dynamic Dual-Attentive Aggregation Learningfor Visible-Infrared Person Re-Identification学习笔记

目录

摘要

方法

模态内加权聚合（IWPA）

跨模态图结构化注意力（CGSA）

Graph Construction  

Graph Attention

动态对偶聚合学习 

试验

论文链接：Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification

摘要

        通过挖掘 VI-ReID 的模态内部分级和跨模态图级上下文线索，提出了一种新颖的动态双注意聚合 (DDAG) 学习方法。提出了一个模态内加权部分注意模块，通过将领域知识强加于部分关系挖掘来提取有区别的部分聚合特征。为了增强对噪声样本的鲁棒性，引入了跨模态图结构化注意力，以加强具有跨两种模态的上下文关系的表示。开发了一种无参数动态对偶聚合学习策略，以渐进式联合训练的方式自适应地集成这两个组件。

        ( a) 来自SYSU-MM01数据集 [50] 的示例图像，由于数据注释/收集difficulty而具有高样本噪声。主要组成部分 :( b) 内部加权部分聚合 (IWPA)，它通过挖掘每个模态中的上下文部分信息来学习歧视性部分聚合特征。(c) 跨模态结构化注意 (CGSA)，它通过合并来自两种模式的邻域信息来增强表示。

方法

        DDAG包括两个主要组件，模态内加权部分聚合 (IWPA) 和跨模态图结构化注意力 (CGSA)。我们的主要思想是在模态内部分级别和跨模态图级别挖掘上下文提示，以增强特征表示习。        

        IWPA旨在通过同时挖掘每个模态中身体部位之间的上下文关系并施加领域知识来处理模态差异，从而学习歧视性的部分聚合特征，自适应地分配不同身体部位的权重。此设计在计算上是有效的，因为学习了特定于模态的部分级别的注意力，而不是像素级别的注意力 ，并且它还导致了对背景杂波的更强的鲁棒性。我们进一步开发了具有加权零件聚集的残余BatchNorm连接，以减少嘈杂的身体部位的影响，并积极处理聚集特征中的部位差异。

        CGSA 专注于通过结合两种模态的人物图像之间的关系来学习增强的节点特征表示。我们通过利用跨模态图中的上下文信息，通过多头注意力图方案为模态内和跨模态邻居分配自适应权重，消除了具有较大变化的样本的负面影响。通过挖掘两种模态的人物图像之间的图形关系来增强特征表示，该策略还减少了模态差异并平滑了训练过程。

        此外，引入了一种无参数动态对偶聚合学习策略，以多任务端到端学习的方式动态聚合两个注意力模块，使复杂的双重注意力网络稳定收敛，同时加强每个注意力零件。<