DQN到DDQN

### DQN 到 DDQN 的演进及其改进 #### 背景介绍 深度Q学习（Deep Q-Network, DQN）是一种结合了强化学习和深度神经网络的方法，用于解决高维状态空间中的决策问题。然而，在原始的DQN算法中存在一些不足之处，例如目标值估计不稳定以及过高的方差等问题[^1]。 为了克服这些局限性，Double DQN (DDQN)被提出作为一种改进版本。它通过分离动作选择和价值评估来减少目标Q值的过高估计现象，从而提高了模型训练过程中的稳定性和收敛速度[^2]。 #### 实现差异分析 ##### 动作选择机制的不同 在标准DQN中，当前策略会同时负责选取最佳行动并计算对应的最大预期奖励值。这种做法容易导致对某些特定状态下可能存在的最优解产生偏倚性的判断误差。而DDQN则引入了一个新的概念——即利用在线网络来进行下一步骤的最佳行为预测，再由目标网络完成对于所选路径的价值量度工作。这种方法有效缓解了单一网络自我评价带来的偏差问题。 以下是两种方法的主要区别： - **DQN**: \[ y_i^{DQN} = r + \gamma \max_a Q(s',a;\theta^-) \] - **DDQN**: \[ y_i^{DDQN} = r + \gamma Q(s',\arg\!\max_a Q(s',a;\theta);\theta^-) \] 其中$\theta$表示参数集合；$\theta^-$代表延迟更新的目标网络权重向量；$r$为即时回报；$\gamma$折扣因子。 ```python def compute_q_values_dqn(state, next_state, reward, done, q_network, target_network, gamma): """Compute TD targets for DQN.""" max_next_q_value = torch.max(target_network(next_state), dim=1)[0].detach() td_target = reward + gamma * (~done).float() * max_next_q_value return td_target def compute_q_values_ddqn(state, next_state, reward, done, online_network, target_network, gamma): """Compute TD targets for Double DQN.""" best_action_online = torch.argmax(online_network(next_state), dim=1).unsqueeze(-1) selected_q_value = target_network(next_state).gather(1, best_action_online).squeeze().detach() td_target = reward + gamma * (~done).float() * selected_q_value return td_target ``` 上述代码片段展示了如何分别基于DQN与DDQN计算TD目标的过程对比。可以看到，在`compute_q_values_ddqn`函数里我们先使用`online_network`找出最大收益的动作索引后再借助于`target_network`获取具体数值，这正是双网络架构的核心所在。 #### 性能提升表现 实验表明，相较于传统形式下的单步迭代更新方案而言，采用双重估计方式能够显著降低因频繁调整而导致的整体波动幅度，并最终取得更优的学习成果。此外，由于减少了不必要的探索次数，整个系统的运行效率也得到了一定程度上的优化。