AI队友进化论：NeurIPS揭示人机交互训练新范式—

本文选自gongzhonghao【图灵学术SCI论文辅导】

关注我们，掌握更多顶会顶刊发文资讯

今天，为大家推荐一个高潜力、快速演进的研究方向：人机交互（HCI）。从近期顶级学术会议及产业动态即可洞察，其作为前沿领域的探索热度持续攀升，尤其在智能座舱、具身智能交互、无障碍交互设计和智能协作系统等典型应用中。这些研究通过探索新型交互模态、提升交互系统的情境理解与自适应能力，旨在打造更加自然、高效、沉浸式的人机协同体验。

人机交互不仅直接关乎技术可用性与用户接受度，更因其在提升生产力、增强用户赋能、促进社会包容性等多维场景中的关键作用，展现出深远的落地价值。因此，这一方向无论是技术创新的空间，还是应用前景的广度，都极具吸引力！

今天小图给大家精选3篇NeurIPS有关人机交互方向的论文，请注意查收！

InterDreamer: Zero-Shot Text to 3D Dynamic Human-Object Interaction

方法：

文章首先利用预训练的大型语言模型（如 GPT-4 和 Llama 2）来理解文本描述中的交互语义，生成与文本对齐的人类动作，并确定初始物体姿态。接着，通过世界模型预测物体在人类动作影响下的后续状态，该模型专注于接触点的运动，从而实现对复杂物体动态的建模。最后，通过优化过程对生成的人类和物体姿态进行微调，以确保交互的逼真性和物理合理性。

创新点：

提出了无需文本-交互对数据进行监督学习的零样本文本到 3D 动态人-物交互生成方法，开创性地将交互语义和动态解耦。
引入了世界模型来理解简单物理规则，模拟人类动作对物体运动的影响，有效解决了低层次交互动态建模问题。
将高阶语义建模与低阶动态建模相结合，通过预训练的大型语言模型和文本到动作模型提供语义知识，通过世界模型学习动态知识。

论文链接：

https://papers.nips.cc/paper_files/paper/2024/file/5eca2e4fe7858cbbfef4e08573cfcb25-Paper-Conference.pdf

CooHOI: Learning Cooperative Human-Object Interaction with Manipulated Object Dynamics

方法：

文章首先通过单智能体技能学习阶段，利用对抗运动先验（AMP）框架训练单个智能体与物体交互的能力，将物体的动力学信息纳入观察空间，使其能够更好地感知和响应物体状态变化。接着，在多智能体协作阶段，采用集中训练分散执行（CTDE）的多智能体强化学习算法，通过共享物体动力学信息作为反馈，实现智能体间的隐式通信和协调。最后，通过大量实验验证了该框架在不同物体和不同智能体数量下的有效性和泛化能力，展示了其在多智能体协作任务中的优势。

创新点：

提出了一种两阶段学习框架，先通过单智能体技能学习掌握个体任务，再将这些技能迁移到多智能体协作场景中，显著提高了训练效率。
利用被操纵物体的动力学信息作为反馈，实现了智能体之间的隐式通信，从而增强了协作能力，即使在没有直接通信的情况下也能实现有效的团队协作。
该框架仅依赖单智能体的运动捕捉数据，即可扩展到多智能体任务，并且能够适应不同类型的物体和不同数量的参与者，具有很强的泛化能力。

论文链接：

https://papers.nips.cc/paper_files/paper/2024/file/918b9487f8ea4661e8ba5a02b2126658-Paper-Conference.pdf

Designs for Enabling Collaboration in Human-Machine Teaming via Interactive and Explainable Systems

方法：

文章首先构建了一个基于强化学习的可解释机器学习架构，即 IDCT，用于生成具有可解释性的协作 AI 策略。通过引入上下文修剪算法，优化了神经树模型的训练过程，使其在保持可解释性的同时，能够更高效地学习复杂任务。此外，文章设计了一个交互式修改方案，允许用户在多次协作过程中，通过 GUI 直接修改 AI 的决策树策略，从而实现对机器行为的动态调整和优化。

创新点：

提出了“人类引导的策略修改”方案，允许用户通过图形用户界面（GUI）直接修改机器代理的决策树策略，从而实现对机器行为的个性化调整，显著提升了人机协作的灵活性和适应性。
设计了一种新颖的可解释离散控制树（IDCT）架构，该架构基于可微决策树，能够通过强化学习生成易于人类理解和修改的树状策略表示，为人类提供了对机器决策过程的透明度和控制权。
通过大规模用户研究，揭示了不同人机协作方法在团队发展和协作性能上的差异，并提出了未来研究方向，包括改进白盒模型的协作能力、设计更好的学习方法以促进协作，以及开发混合主动界面以支持不同能力的用户改进协作。