Using Large Language Models to Automate and Expedite Reinforcement Learning with Reward Machine

UnknownBody

于 2024-04-06 10:00:01 发布

阅读量132

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM RL 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/137421531

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

LLM RL

37 篇文章

订阅专栏

本文介绍了LARL-RM算法，利用大型语言模型（LLM）生成领域特定知识，以自动机的形式加速强化学习过程。通过提示工程，无需专家编码，实现闭环学习并收敛到最优策略。实验证明，相比传统方法，LARL-RM能提升30%的收敛速度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Using Large Language Models to Automate and Expedite Reinforcement Learning with Reward Machine》的翻译。

摘要

我们提出了LARL-RM（Large language modelgenerated Automaton for Reinforcement Learning with Reward Machine）算法，以使用自动机将高级知识编码到强化学习中，从而加快强化学习。我们的方法使用大型语言模型（LLM）使用提示工程来获得高级领域特定知识，而不是直接向强化学习算法提供高级知识，这需要专家对自动机进行编码。我们使用思想链和小样本方法进行提示工程，并证明我们的方法使用这些方法是有效的。此外，LARL-RM允许完全闭环的强化学习，而不需要专家来指导和监督学习，因为LARLRM可以直接使用LLM来生成手头任务所需的高级知识。我们还展示了我们的算法收敛到最优策略的理论保证。通过在两个案例研究中实施我们的方法，我们证明了LARL-RM将收敛速度提高了30%。