强化学习之TD3（pytorch实现）

参考视频：https://www.bilibili.com/video/BV1EK41157fD/?spm_id_from=333.788.recommend_more_video.-1

原论文：https://arxiv.org/abs/1802.09477

价值函数优化学习主线：Q-learning→DQN→DDPG→TD3→SAC

其中SAC和TD3算是目前很好的两个强化学习算法了，有必要掌握。
Q-Learning，DQN和DDPG请可以参考我之前的文章：强化学习实践教学

首先DDPG是对DQN的扩展，使得只能用于离散动作空间的DQN扩展到连续动作空间，在方法上同样运用了经验回放和Target网络，同时是一个Actor-Critic方法，因此存在四个网络。

TD3也叫做Twin Delayed DDPG，全称Twin Delayed Deep Deterministic Policy Gradient。是基于DDPG的改进。同样DDPG也存在着跟DQN相同的缺陷，就是由于采用的是max最大动作价值的方式进行更新，使得动作价值远比实际要高（overestinmate），使得训练不稳定。因此TD3提出了三种改进。

Clipped Double_Q Learning

TD3使用了两个Q网络进行学习，因此是“twin”。而且采用两个网络中动作价值Q较小的值进行更新。两个网络同时使用一个target网络，因此它们同时都会产生一个预测值，我们只用预测值中较小的来对网络进行更新。

“Delayed” Policy Updates

TD3更新策略网络（及其Target网络）的频率要比价值网络慢，论文中推荐更新两次价值网络才更新一次策略网络。这样可以让两者解耦，关联度降低，从而可以克服overestinmation。

Target Policy Smoothing

TD3在策略网络的target网络中引入了噪声，让其更加积极去探索Q价值网络的错误。
$$a_{TD3}(s^{\prime })=clip({\mu }_{\theta ,targ}(s^{\prime })+clip(ϵ,-c,c),a_{low},a_{high}),ϵ～N(0,$$