TPAMI 2024 | 基于上下文的贝叶斯非参数模型元强化学习

Context-Based Meta-Reinforcement Learning With Bayesian Nonparametric Models

题目：基于上下文的贝叶斯非参数模型元强化学习

作者：Zhenshan Bing; Yuqi Yun; Kai Huang; Alois Knoll
源码：https://github.com/Ghiara/MELTS

摘要

深度强化学习代理通常需要收集大量的交互才能解决单一任务。相比之下，元强化学习（meta-RL）旨在通过利用在一组类似任务上训练获得的知识，快速适应新任务，仅需少量经验。基于上下文的最先进的元强化学习算法使用上下文来编码任务信息，并训练一个依赖于推断出的潜在任务编码的策略。然而，大多数最近的工作局限于参数化任务，其中少数变量控制任务分布的全部变化，并且由于少次适应设置，未能在非平稳环境中工作。为了解决这些限制，我们提出了一种名为MEta-reinforcement Learning with Task Self-discovery (MELTS) 的方法，它自适应地学习定性不同的非参数化任务，并以零次拍摄的方式适应新任务。我们引入了一种基于高斯无限混合的新深度聚类框架（DPMM-VAE），结合了狄利克雷过程混合模型（DPMM）和变分自编码器（VAE），以自适应的方式同时学习任务表示和聚类任务。将DPMM-