物体提议泛化与人体实例分割的自监督框架

### 物体提议泛化与人体实例分割的自监督框架 在计算机视觉领域，物体提议的泛化以及人体实例分割都是重要的研究方向。下面将为大家详细介绍相关的研究内容。 #### 物体提议泛化研究 在物体提议的研究中，原型类别的必要性和充分性是关键考量因素。通过对原型子集里能定位目标类别的类别进行测量，并对所有目标类别取平均值，可得到必要性的良好估计。高值表示高必要性，低值则对应原型类别间的冗余。 我们可以通过绘制不同数量原型类别的情况来进行分析。研究发现，在给定的原型类别数量下，视觉聚类的平均召回率变化比语义聚类更高，这表明视觉聚类产生的原型类别冗余更少、必要性更强。随着原型类别数量的增加，必要性会下降，因为类别间的冗余增加了。例如，对于视觉聚类，从 200 个类别增加到 300 个类别时，充分性从 73.2 小幅度变化到 75.9，但必要性却急剧下降，这暗示 OIV4 的理想原型类别数量可能在 200 左右。 此外，研究还定量测量了视觉多样性的重要性，发现使用过细或过粗的标签空间都会影响泛化能力。同时引入了充分且必要的原型类别概念以获得泛化提议，并且表明 Faster R - CNN 在获取未见类别的提议方面比 RetinaNet 更优，还研究了类别无关的边界框回归和非极大值抑制（NMS）阈值的影响。 以下是一个简单的总结表格： | 研究内容 | 结论 | | --- | --- | | 原型类别测量 | 平均测量可估计必要性，高值为高必要，低值为冗余 | | 聚类对比 | 视觉聚类产生的原型类别冗余少、必要性强 | | 类别数量影响 | 数量增加，必要性下降 | | 理想类别数量 | OIV4 约为 200 | | 其他发现 | 视觉多样性重要，Faster R - CNN 更优，研究了回归和阈值影响 | #### 人体实例分割的自监督框架 在人体实例分割方面，现有的方法主要集中在改进模型架构、利用弱监督或在相关任务间转换监督，但这些方法存在结构特定、弱监督受限于先验或相关任务数量等问题。因此，提出了一种新颖的自监督框架。 该框架的核心思想是利用视频中的先验知识，通过未标记的视频数据进行训练，以提高实例分割的性能。其主要由以下几个模块组成： 1. **TPR 模块**：迭代地进行分割和光流估计的相互细化。与其他仅利用光流估计而不纠正错误的方法不同，该模块中的两个任务相互受益，促进了同一视频中简单帧到复杂帧的预测传播。 2. **GBSR 模块**：为每个检测到的人体构建图，通过最小化相邻帧中对应图的距离来细化姿势估计。每个节点包含关节的外观和结构信息，通过最小化图距离和调整可见性分数来提高姿势估计的性能。 3. **Pose2Seg 模块**：将校正后的骨架转换为分割掩码，并与 TPR 模块的输出合并以生成最终预测。最终预测用于以反馈方式微调分割网络的权重。 以下是该框架的工作流程 mermaid 流程图： ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; A[未标记视频数据]:::process - ```