6DoF姿态估计的混合方法与实验结果

### 6DoF 姿态估计的混合方法与实验结果 在计算机视觉领域，6DoF（六自由度）对象姿态跟踪和估计是一个重要的研究方向，它在机器人操作、增强现实等诸多领域有着广泛的应用。本文将介绍两种相关的方法及其实验结果，一种是用于单对象姿态跟踪的 CNN 方法，另一种是 6DoF 姿态估计的混合方法。 #### 单对象姿态跟踪的 CNN 方法 1. **实验设置** - 研究人员将并行注意力模块与测地旋转损失相结合，并融合了其他相关元素。他们在数据集的五个对象上进行评估，分别是“Dragon”、“Cookie Jar”、“Dog”、“Lego”块和“Watering Can”，旨在涵盖最大的变异性。 - 针对每个对象，随机选择三个场景，绘制了最先进方法（SoA）和所提出的跟踪器的 3D 平移和旋转误差图。 2. **不同对象的实验结果分析** - **“Dragon”**：该对象从方法改进中受益最大。由于其几何形状最复杂，纹理丰富，且有几个突出于用户握持的独特部分，几何建模和并行注意力模块在这种情况下得到了最佳应用。当用户的手遮挡“Dragon”的部分时，注意力会转移到其突出的身体部位，如颈部、翅膀或尾巴。 - **“Cookie Jar”**：方法与基线之间的差异较小。该模型形状简单、对称，纹理较差，注意力的效果不太明显，这使得难以像“Dragon”那样轻松识别姿态。不过，它与“Lego”模型一起，充分利用了反射对称处理算法，避免了传播到未来帧的大的突然误差。 - **“Dog”和“Watering Can”**：这两个模型纹理较少，误差下降较为平缓。在“75% 遮挡”场景中，前景注意力图有助于将“Dog”模型与其背景（相同颜色的桌子）区分开来。而对于“Watering Can”，当出现视角引起的对称性时，会出现最多的模糊情况，建模效果会下降。 3. **性能对比** - 根据表格数据，所提出的方法在所有对象和几乎所有场景中的准确性都超过了 SoA，尤其是在 3D 旋转方面。两种误差（平移和旋转）通常较低（从均值和标准差来看），跟踪失败的次数也相同或更少。 - 该方法在快速对象运动中出现严重误差的情况比 SoA 更少，能更好地处理静态和动态的高百分比遮挡模式。它不仅能在严重遮挡下跟踪对象的 3D 位置，还能将这一特性扩展到 3D 旋转。虽然计算强度比 SoA 大，但运行速度可达 40 fps。 #### 6DoF 姿态估计的混合方法 1. **方法背景与动机** - 许多最近发表的 6DoF 对象检测方法遵循两阶段管道。第一阶段是最先进的深度学习对象检测器，输出对象实例的潜在位置；第二阶段对每个实例估计其姿态。 - 点对投票方法虽然识别率高，但速度慢，因为投票是在整个场景上进行，没有预先分割或检测实例。而训练良好的深度学习实例分割方法能快速估计场景中对象的位置。因此，研究人员将两者结合，仅在实例分割网络返回的位置上进行点对投票。 2. **具体方法步骤** - **实例分割** - 由于 BOP 基准测试中的数据集涵盖了各种不同的对象类型和放置方式，单一的对象检测器不能很好地覆盖所有情况。因此，针对每个数据集，训练了 Mask - RCNN 和 RetinaMask 网络，并根据验证集上的平均精度均值（mAP），以交并比（IoU）阈值为 0.5 自动选择检测器。 - 对于 YCB - V、T - LESS 和 ITODD 数据集使用 Mask - RCNN，对于 LM - O、HB、TUD - L 和 IC - BIN 数据集使用 RetinaMask。推测 Mask - RCNN 在某些数据集上表现更好，是因为其两阶段方法更适合有许多相似类别的数据集。 - **训练集选择** - 训练深度学习模型时，训练数据的选择至关重要。当训练和测试数据来自相同分布时，模型更容易从训练图像推广到测试图像。但并非所有 BOP 挑战数据集都有真实标记的训练图像。 - 对于有真实训练图像的数据集（如 TUD - L 和 YCB - V