天授强化学习库了解

博主是一名刚入门强化学习方向的小白，经过一段时间的摸索和询问，在众多强化学习库中选择了天授，主要目的也是想要系统地从代码底层去了解强化学习的运转机制。

• 这里插一句，为什么要选择一个强化学习库，而不是自己直接套用某个算法去跑实验？

如果已经是有很好基础的大佬，直接面对各种算法以及后面的调参是没有问题的，但是对于小白来说，我觉得还是有必要借助一个平台来系统地学习一些知识，就比如说各个函数的调用关系、算法的拓展过程、buffer机制的设计、神经网络的作用……

一、天授库的基本简介

以下摘自于github主页中作者团队对天授的介绍：

“天授”意指上天所授，引申为与生具有的天赋。天授是强化学习平台，而强化学习算法并不是向人类学习的，所以取“天授”意思是没有老师来教，而是自己通过跟环境不断交互来进行学习。

二、优势所在

1、模块化与灵活性

提供 低层接口，支持算法开发者自由定制和扩展，同时保持类型安全（Type-safe）。

例如，可轻松替换网络结构、采样策略或优化器。

2、高性能训练

优化了数据收集和策略更新的并行效率，比许多主流 RL 库（如 Stable Baselines3）更快。

支持多进程异步采样（Vectorized Environment）。

3、广泛的算法支持

在线 RL：DQN、PPO、SAC、TD3 等（On/Off-Policy）。

离线 RL：CQL、BCQ 等。

实验性支持：多智能体 RL（MARL）、基于模型的 RL（MBRL）。

4、用户友好接口

高层 API 只需几行代码即可训练自定义环境。

三、下载链接

Github链接：https://github.com/thu-ml/tianshou

Gitee链接：https://gitee.com/mirrors/Tianshou

两个链接的内容是一样的，为防止Github网站临时登录不上，放了一个国内的Git链接。

四、目前可直接支持的算法

强化学习算法与组件列表

基于值函数的方法

• DQNPolicy - Deep Q-Network
• DQNPolicy - Double DQN
• DQNPolicy - Dueling DQN
  • BranchingDQNPolicy - Branching DQN
  • C51Policy - Categorical DQN
• RainbowPolicy - Rainbow DQN
• QRDQNPolicy - Quantile Regression DQN
• IQNPolicy - Implicit Quantile Network
• FQFPolicy - Fully-parameterized Quantile Function

基于策略梯度的方法

• PGPolicy - Policy Gradient
• NPGPolicy - Natural Policy Gradient
• A2CPolicy - Advantage Actor-Critic
• TRPOPolicy - Trust Region Policy Optimization
• PPOPolicy - Proximal Policy Optimization

混合方法

• DDPGPolicy - Deep Deterministic Policy Gradient
• TD3Policy - Twin Delayed DDPG
• SACPolicy - Soft Actor-Critic
• REDQPolicy - Randomized Ensembled Double Q-Learning
• DiscreteSACPolicy - Discrete Soft Actor-Critic

模仿学习相关

• ImitationPolicy - Imitation Learning
• GAILPolicy - Generative Adversarial Imitation Learning

离线强化学习

• BCQPolicy - Batch-Constrained deep Q-Learning
• CQLPolicy - Conservative Q-Learning
• TD3BCPolicy - Twin Delayed DDPG with Behavior Cloning
• DiscreteBCQPolicy - Discrete Batch-Constrained deep Q-Learning
• DiscreteCQLPolicy - Discrete Conservative Q-Learning
• DiscreteCRRPolicy - Critic Regularized Regression

其他高级组件

• PSRLPolicy - Posterior Sampling Reinforcement Learning
• ICMPolicy - Intrinsic Curiosity Module
• PrioritizedReplayBuffer - Prioritized Experience Replay
• compute_episodic_return() - Generalized Advantage Estimator
• HERReplayBuffer - Hindsight Experience Replay