Diffuser，Decision Diffuser，Diffusion Policy

技术演进​​：Diffuser（轨迹规划）→ Decision Diffuser（条件决策）→ Diffusion Policy（端到端控制）。

 ​​一、设计理念解析​​

1. ​​规避奖励设计的复杂性​​
   Diffusion Policy 的初衷是​​避开强化学习中奖励函数设计的难题​​。通过直接建模动作分布，减少对人工设计奖励的依赖，尤其适用于动作空间复杂、奖励难以量化的任务（如灵巧操作）

2. ​​与Diffuser/Decision Diffuser的区别​​

   • ​​Diffuser​​：需预定义奖励函数生成高回报轨迹
   • ​​Decision Diffuser​​：用分类器无关引导（CFG）融合奖励/目标条件
   • ​​Diffusion Policy​​：​​唯一无需奖励即可独立运行​​的框架(也可结合强化学习理念优化)

 ​​二、算法核心思想与对比总结​​

 ​​三、算法详解与代表性工作​​

1️⃣ ​​Diffuser：基于轨迹生成的扩散模型​​

• ​​核心思想​​：将强化学习视为​​轨迹生成问题​​，扩散模型直接拟合状态序列分布（p(τ)，其中 τ={s0​,s1​,...,sT​})。通过反向扩散过程生成高回报轨迹，再通过控制算法（如MPC）执行动作
• ​​创新点​​：
  • ​​非自回归预测​​：一次性生成完整轨迹，避免传统RL的迭代误差累积
  • ​​能量引导采样​​：用奖励函数构建能量函数 E(τ)，引导采样过程偏向高回报轨迹（如 p(τ)∝exp(E(τ)/temperature))
• ​​局限​​：采样步数多（>50步），实时性差；依赖预定义奖励函数，不适用于复杂偏好对齐任务
• ​​代表工作​​：
  • Diffuser：在Maze2D任务中生成全局路径，解决长时程稀疏奖励问题
  • EDIS：引入能量函数动态调整采样分布，弥合离线与在线数据差异，在AntMaze任务提升20%性能

2️⃣ ​​Decision Diffuser：多条件引导的决策生成​​

• ​​核心思想​​：扩展Diffuser，支持​​多条件生成​​（如目标状态、奖励函数、人类偏好）。通过分类器无关引导（CFG）动态融合条件信息，生成多样化策略
• ​​创新点​​：
  • ​​条件解耦​​：将目标、奖励等条件作为独立引导信号，增强策略灵活性
  • ​​自适应重评估​​（DIAR）：动态调整规划长度，比较当前与未来状态价值，平衡长短期决策
• ​​局限​​：仍依赖轨迹级生成，计算开销大；需预训练扩散模型。
• ​​代表工作​​：
  • Decision Diffuser：在厨房多任务环境中，通过目标条件化生成洗碗、开关柜等动作序列，成功率超传统RL 50%
  • DIAR：结合扩散模型与隐式Q学习，在AntMaze任务中实现SOTA，解决分布外动作问题

3️⃣ ​​Diffusion Policy：端到端的动作生成策略​​

• ​​核心思想​​：直接建模​​状态→动作​​的映射 p(a∣s)，将扩散模型作为策略网络输出多峰动作分布，替代传统高斯策略
• ​​创新点​​：
  • ​​多峰动作建模​​：解决行为克隆中数据冲突问题（如"左右为难"场景）
  • ​​高效采样优化​​：通过蒸馏（Consistency Models）、低步数采样（5步）提升实时性
• ​​局限​​：在线训练困难（PPO/DPO无法直接应用）；离散动作支持弱
• ​​代表工作​​：
  • Diffusion Policy：双臂机器人抓取任务中学习多种最优解（如不同抓握位姿），多样性远超高斯策略
  • Curiosity-Diffuser：用RND好奇心模块约束动作分布，减少未知状态幻觉，在CS:GO游戏鼠标控制中提升可靠性

 ​​四、核心差异点​​