【论文速看】DL最新进展20241017-强化学习、图像超分

【强化学习】

[ICRA 2025] Context-Based Meta Reinforcement Learning for Robust and Adaptable Peg-in-Hole Assembly Tasks

论文链接：https://arxiv.org/pdf/2409.16208

代码链接：

在未知环境中进行孔中插销组装是一项具有挑战性的任务，因为机载传感器误差会导致任务参数（如孔的位置和方向）的不确定性和变化。元强化学习（Meta RL）被提出用来解决这一问题，因为它学会了如何快速适应具有不同参数的新任务。然而，以前的方法要么依赖于一个样本效率低下的程序，要么需要人为示范才能在现实世界中完成任务。该工作修改了Meta RL智能体使用的数据，并使用了即使在未校准的相机下也能轻易测量到的简单特征。进一步将Meta RL智能体适配为使用来自力/扭矩传感器的数据，而不是相机，来进行组装，并且只需少量训练数据。最后，本文提出了一种微调方法，能够一致且安全地适应参数与训练任务相差10倍的分布外任务。研究结果表明，所提出的数据修改显著提高了训练和适应的效率，并使智能体能够在具有不同孔位置和方向的任务中达到100%的成功率。在实际机器人上的实验证实了无论是配备相机还是力/扭矩传感器的智能体都能在未知孔位置的任务中实现100%的成功，与其模拟性能相匹配，并验证了该方法的鲁棒性和适用性。与之前在现实世界任务中样本效率低下的适应工作相比，提出的方法样本效率高出10倍。

[TPAMI 2024