跨模态行人重识别：Counterfactual Intervention Feature Transfer forVisible-Infrared Person Re-identification笔记

简介：基于图的模型计算不同人之间的图拓扑结构 (亲和力)，然后将信息传递以实现更强的特征。基于图的可见光人再识别任务 (VI-ReID) 中的方法由于以下两个问题：

（1）训练-测试模态平衡间隙，两种模态数据的数量在训练阶段是平衡的，但在推理上却极不平衡，导致基于图形的VI-ReID方法的泛化程度较低。

（2）端到端学习方式对图模块造成次优拓扑结构，分析了主干特征和图特征的联合学习削弱了图拓扑的学习。

        在本文中，提出了一种反事实干预特征转移 (CIFT) 方法来解决这些问题。设计了同质和异质特征传输 (H2FT)，以通过两种独立类型的精心设计的图形模块和不平衡场景模拟来减少训练-测试下模态平衡差距。此外，提出了一种反事实关系干预 (CRI)，利用反事实干预和因果效应工具来突出拓扑结构在整个训练过程中的作用，从而使图拓扑结构更加可靠。

H2FT旨在从训练算法和模型设计两个方面减小训练-测试模态平衡差距。通过对平衡训练数据进行重组，模拟不平衡模态分布场景，并让H2FT在该环境下进行训练，指导模型适应不平衡模态分布的情况。

CRI通过突出图结构（预测的亲和力）在总的端到端训练中的作用来解决次优图拓扑问题。 利用因果推理的工具来实现这一动机。在图的结构因果模型中表示我们的图模块 1(b)并将图模块的训练目标从仅最大化概率似然修改为最大化概率似然和总间接效应(TIE)的组合。 前一项指导整个模型对每个人图像的身份进行分类。 后者实质上等于最大化原始输出与仅由亲和力变化贡献的反事实输出之间的差异（图1(B)绿色背景），使模型能够感知到图亲和力的作用。

 方法

（1）针对训练-测试模态平衡差距，提出了一个同质和异质特征转移(H2FT)模块，包括两种独立的设计良好的图形模块和一个非平衡场景模拟，它更适合于处理非平衡模态分布场景中的样本交互。

（2）针对次优拓扑结构问题，提出了一种新的反事实关系干预算法。 它利用反事实干预和因果关系工具突出拓扑结构在特征传递模块中的作用，使整个模块的训练更加泛化。

基于图的VI-Reid模型综述

步骤1：模态不变特征提取。

步骤2：特征增强。 

步骤3：计算结果。 

步骤4：特征学习。 

基于图的VI-Reid泛化能力差的分析

（1）训练-测试模态平衡间隙 

     &