Empowering Large Language Models with 3D Situation Awareness

主要内容

1. 研究背景：大语言模型（LLMs）在2D图像领域取得成功后，其在3D场景理解中的应用成为新趋势。但3D场景理解面临3D文本数据稀缺、现有方法忽视自我中心视角等问题。
2. 相关工作：介绍室内3D场景理解、3D领域的大语言模型以及3D空间情境感知方面的研究现状，指出当前方法的局限性。
3. 方法
   • 情境数据集：利用RGB - D视频中的自然探索行为，通过视觉语言模型（VLMs）生成描述和问答对，并进行数据集验证和优化，最终生成大规模高质量的情境数据集View2Cap。
   • 模型架构：模型包含点云编码器、连接器、大语言模型和情境定位模块。情境定位模块将姿态估计转换为分类问题，简化学习过程。
   • 训练：训练过程分三个阶段，包括区域文本对齐、情境定位和指令微调，使用LoRA对LLM进行微调。
4. 实验：在3D场景理解、情境定位、情