跨模态行人重识别：Cross-Modality Person Re-Identification viaModality-Aware CollaborativeEnsemble Learning学习笔记

基于模态感知的协同集成学习的跨模态行人重识别

 简介

         本文针对VT-Reid提出了一种基于中间层共享双流网络(MSTN)的模态感知协同集成(MACE)学习方法，该方法同时处理了特征层和分类器层的模态差异。 在特征层，MSTN通过在卷积层中捕获可共享的中间层鉴别特征，获得了比现有方法更好的性能。 在分类器层次上，我们针对两个模态分别引入了特定模态和共享模态身份分类器来处理模态差异。 为了利用不同分类器之间的互补信息，我们提出了一种集成学习方案，将模态共享分类器和模态特定分类器结合起来。 此外，我们引入了一种协作学习策略，该策略将特定于模态的身份预测和集成输出规则化。

        基本思想是在特征层和分类器层处理模态差异。 具体来说，MSTN的目标是学习具有部分共享网络结构的模态感知特征表示。 改进主要在于采用可共享的卷积块来捕获具有鉴别性的中层特征，而不仅仅是高层特征。 在分类器层次，我们引入了模态共享和模态特定的分类器来指导特征学习。 一方面，模态共享分类器的目的是获取可共享的信息。 另一方面，特定于情态的分类器为两个不同的情态学习两个独立的同一性分类器来处理情态差异。 此外引入了一种集成学习策略，将不同分类器的所有预测输出结合起来，形成一个增强的教师集成。 为了促进不同分类器之间的知识转移，我们采用用于协作学习的知识蒸馏技术。 该方法利用特定情态分类器与教师集合之间的一致性正则化关系，提高了系统的性能。

贡献

(1)提出了一种新的模态感知协同集成(MACE)学习方法，该方法采用了改进的中间层可共享双流网络(MSTN)，用于跨模态VT-Reid。

(2)针对不同分类器之间的关系，提出了一种协同集成学习方案。 它提高了集成输出的可分辨性和一致性。

方法主要包括三个部分：

1）特征层的模态感知学习，引入了一个中间层的可共享的两流网络用于特征学习，解决了部分独立和可共享的网络