Direct Preference Optimization: Your Language Model is Secretly a Reward Model翻译

摘要

虽然大规模无监督语言模型（LM）学习广泛的世界知识和一些推理技能，但由于其训练的完全无监督性质，实现对其行为进行精确控制是困难的。获得这种可操纵性的现有方法是收集对模型生成质量进行人工标注的数据，并微调无监督的 LM 以符合他们的偏好，通常通过人类反馈进行强化学习（RLHF）。然而，RLHF 是一个复杂且通常不稳定的过程，首先需要拟合能够反映人类偏好的奖赏模型，然后使用强化学习对大型无监督 LM 进行微调，以最大化估计的奖赏，且不能偏离原始模型太远。在本文中，我们引入了 RLHF 奖赏模型的新参数化方法，它能够以封闭形式提取相应的最优策略，使我们能够仅用简单的分类损失来解决标准 RLHF 问题。由此产生的算法，我们称之为Direct Preference Optimization (DPO)，这是一种稳定、高性能且计算轻量化的方法，消除了在微调或执行重要的超参数调整期间从 LM 进行采样的需要。我们的实验表明，DPO 可以微调 LM 以符合人类偏好，并且比现有方法更好。值得注意的是，使用 DPO 进行微调在控制生成情感的能力方面超过了基于 PPO 的 RLHF，并且匹配或提高了摘要和单轮对话中的响应质量，同时大大简化了实现和训练。

1.介绍

　　在非常大的数据集上训练的大型无监督语言模型（LM）获得了令人惊讶的能力。然而，这些模型是根据人类生成的数据进行训练的，这些数据具有各种目标、优先级和技能。其中一些目标和技能可能不适合模仿；例如，虽然我们可能希望人工智能编码助手即了解常见的编程错误以便纠正它们，同时，在生成代码时，我们希望将我们的模型偏向于其训练中存在的（可能罕见的）高质量编码能力数据。同样，我们可能希望我们的语言模型能够意识到 50% 的人相信的常见误解，但我们当然不希望模型在 50% 的问题中声称这种误解是正确的！换句话说，从广泛的知识和能力中选择模型所需的响应和行为对于构建安全、高性能和可控的人工智能系统至关重要。 虽然现有方法通常使用强化学习 (RL) 来引导 LM 匹配人类偏好，但我们将证明现有方法使用的基于 RL 的目标可以通过简单的二进制交叉熵目标进行精确优化，从而极大地简化偏好学习流程。
　　在较高层面上，现有方法使用精选的人类偏好数据集将所需的行为蒸馏到语言模型中，这些偏好数据集代表了人类认为安全和有帮助的行为类型。这个偏好学习阶段发生在对大型文本数据集进行大规模无监督预训练的初始阶段之后。 虽然偏好学习最直接的方法是对人类高质量响应样例进行有监督微调，但最成功的一类方法是根据人类（或AI）反馈进行强化学习（RLHF/RLAIF）。RLHF 方法将奖赏模型与人类偏好数据集相匹配，然后使用 RL 来优化语言模型策略，以生成具有高奖赏的响应，同时又不会偏离原始模型太远。虽然 RLHF 生成的模型具有令人印象深刻的会话和编码能力，但 RLHF pipeline比又监督学习复杂得多，涉及训练多个 LM 并在训练循环中从 LM 策略中采样，从而产生大量计算成本。
　　在本文中，我们展示了如何直接优化语言模型以遵循人类偏好，而无需明确的奖赏建模或强化学习。我们提出了Direct Preference Optimization（DPO），这是一种隐式优化与现有 RLHF 算法具有相同目标的算法（带有 KL 散度约束的奖赏最大化），但易于实现且易于训练。直观上，DPO 更新增加了偏好响应与非偏好响应的相对对数概率，但它包含了动态的、分样例的重要性加权，可以防止我们发现的在简单概率比目标下发生的模型退化。与现有算法一样，DPO 依赖于理论偏好模型（例如 Bradley-Terry 模型），该模型衡量给定奖赏函数与经验偏好数据的匹配程度。然而，虽然现有方法使用偏好模型来定义偏好损失来训练奖赏模型，然后训练优化学习奖赏模型的策略，但 DPO 使用变量的变化将偏好损失直接定义为策略的函数。给定人类对模型响应的偏好数据集，DPO 可以使用简单的二进制交叉熵目标来优化策略，从而生成适合偏好数据的隐式奖赏函数的最优策略。
　　我们的主要贡献是Direct Preference Optimization（DPO），这是一种简单的无强化学习算法，用于根据偏好训练语言模型。我们的实验表明，DPO 至少与现有方法（包括基于 PPO 的 RLHF）一样有效，可以使最大 6B 参数的语言模型从情绪调节、摘要和对话等任务的偏好中进行学习。

2.相关工作

规模不断扩大的自监督语言模型可以学习zero-shot或few-shot提示来完成某些任务。然而，通过对指令数据集和人工标注的数据进行微调，可以显着提高它们在下游任务上的性能以及与用户意图的一致性。这种“指令微调”过程使LLM能够泛化到指令微调数据集之外的指令，并普遍提高其可用性。尽管指令微调取得了成功，但人类对响应质量的对比判断通常比专家样例更容易收集，因此后续工作利用人类偏好的数据集对LLM进行了微调，这提高了在翻译、总结、讲故事和指令遵循上的效果。这些方法首先优化神经网络奖赏函数，以便与偏好模型（例如 Bradley-Terry 模型）下的偏好数据集兼容，然后使用强化学习算法（通常是 REINFORCE、近端策略或变体）微调语言模型以最大化给定奖赏。密切相关的工作利用LLM根据人类反馈进行微调，以针对特定目标属性（例如安全性或无害性）生成额外的合成偏好数据，仅使用来自人类文本标题形式进行的弱监督来进行LLM的标注。这些方法代表了两项工作的融合：一项工作是针对各种目标通过强化学习来训练语言模型，另一项工作是根据人类偏好进行学习的一般方法。尽管使用相对人类偏好很有吸引力，但通过强化学习对大型语言模型进行微调仍然是一个重大的实际挑战。这项工作提供了一种理论上合理的方法，可以在没有强化学习的情况下优化相对偏好。
　　除了NLP之外，在bandit学习和强化学习环境中都对基于偏好的学习策略进行了研究，并提出了几种方法。使用偏好或动作排名而不是奖赏情况下的bandit学习被称为contextual dueling bandit（CDB）。在缺乏绝对奖赏的情况下，CDB 的理论分析用冯诺依曼获胜者替代了最优策略的概念，该策略相对于任何其他策略的预期获胜率至少为 50%。然而，在 CDB 设置中，偏好标签是在线给出的，而在从人类偏好中学习时，我们通常从固定批次的离线标注的偏好动作对中学习。类似地，基于偏好的强化学习（PbRL）从未知的“评分”函数而不是奖赏函数生成的二元偏好中学习。PbRL 存在各种算法，包括可以重用非策略偏好数据的方法，但通常涉及首先显式估计潜在评分函数（即奖赏模型），然后对其进行优化。相反，我们提出了一种单阶段策略学习方法，可以直接优化策略以满足偏好。

3.Preliminaries

我们回顾了 Ziegler et al. 的 RLHF pipeline。 它通常包括三个阶段：1）有监督微调（SFT）； 2) 偏好采样和奖赏学习，以及3) 强化学习优化。
　　SFT。RLHF 通常首先通过对感兴趣的下游任务（对话、摘要等）的高质量数据进行有监督学习来微调预训练的 LM，以获得模型 ${\pi }^{SFT}$。
　　Reward Modelling Phase。在第二阶段，SFT 模型4通过提示 $x$ 生成答案对 $(y_1,y_2)\sim {\pi }^{SFT}(y|x)$。然后将它们展示给人类标注者，他们表达对其中一个答案的偏好，表示为 $y_w\succ y_l|x$，其中 $y_w$ 和 $y_l$ 分别表示 $(y_1,y_2)$ 中偏好和非偏好的答案。假设偏好是由一些我们无法访问的潜在奖赏模型 $r^{\ast }(y,x)$ 生成的。有多种方法可用于对偏好进行建模，其中 Bradley-Terry (BT) 模型是一种流行的选择（如果我们可以访问多个排名答案，则更通用的 Plackett-Luce 排名模型也与该框架兼容）。BT模型规定人类偏好分布$p^{\ast }$可以写为：
$$p^{\ast }(y_1\succ y_2|x)=\frac{exp(r^{\ast }(x,y_1))}{exp(r^{\ast }(x,y_1))+exp(r^{\ast }(x,y_2))}.\text{\hspace{1em}(1)}$$
　　假设可以访问从 $p^{\ast }$ 采样的静态比较数据集 D={x(i),yw(i),yl(i)}i=1N\mathcal D=\{x^{(i)}, y^{(i)}_w , y^{(i)}_l\}^N_{i=1}D={x(i),yw(i)​,yl(i)​}i=1N​，我们可以参数化奖赏模型 $r_{\varphi }(x,y)$ 并通过最大似然估计参数。将问题构建为二元分类，我们得到负对数似然损失：
$${\mathcal{L}}_R(r_{\varphi },\mathcal{D})=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}[log\sigma (r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l))]\text{\hspace{1em}(2)}$$
其中 $\sigma$ 是sigmoid函数。在 LM 的背景下，网络 $r_{\varphi }(x,y)$ 通常根据 SFT 模型 ${\pi }^{SFT}(y|x)$ 进行初始化，并在最后一个transformer层之上添加一个线性层，以生成单个标量来预测奖赏。为了确保奖赏函数具有较低的方差，先前的工作对奖赏进行归一化，使得对于所有 $x$ 来说 $E_{x,y\sim \mathcal{D}}[r_{\varphi }(x,y)]=0$。
　　RL Fine-Tuning Phase。在强化学习阶段，我们使用学习到的奖赏函数向语言模型提供反馈。特别地，我们制定了以下优化问题
$$\underset{{\pi }_{\theta }}{\max }{\mathbb{E}}_{x\sim \mathcal{D},y\sim {\pi }_{\theta }(y|x)}[r_{\varphi }(x,y)]-\beta {\mathbb{D}}_{KL}[{\pi }_{\theta }(y|x)||{\pi }_{ref}(y|x)]\text{\hspace{1em}(3)}$$
其中$\beta$是控制与基础参考策略${\pi }_{ref}$偏差的参数，即初始SFT模型${\pi }^{SFT}$。在实践中，语言模型策略 ${\pi }_{\theta }$ 也被初始化为 ${\pi }^{SFT}$。优化目标中附加的约束项很重要，因为它可以防止模型偏离奖赏模型准确的分布太远，并保持生成多样性并防止模式崩溃为单一高奖赏答案。由于语言生成的离散性，该目标是不可微分的，通常通过强化学习进行优化。标准方法是构建奖赏函数 $r(x,y)=r_{\varphi }(x,y)-\beta (log{\pi }_{\theta }(y|x)-log{\pi }_{ref}(y|x))$，并使用 PPO 最大化该函数。

4.Direct Preference Optimization

　　受到将强化学习算法应用于微调语言模型等大规模问题挑战的激励，我们的目标是得出一种直接使用偏好进行策略优化的简单方法。与之前学习奖赏然后通过 RL 对其进行优化的 RLHF 方法不同，我们的方法利用奖赏模型参数化的特定选择，能够以封闭形式提取其最优策略，而无需 RL 训练循环。正如我们接下来将详细描述的，我们的关键见解是利用从奖赏函数到最优策略的可分析映射，这使我们能够将奖赏函数的损失函数转换为策略的损失函数。这种变量变化方法避免了拟合明确的、独立的奖赏模型，同时仍然在人类偏好的现有模型（例如 Bradley-Terry 模型）下进行优化。本质上，策略网络代表了语言模型和（隐式）奖赏。
　　Deriving the DPO objective。我们从与先前工作相同的 RL 目标 （方程 3）开始，在一般奖赏函数 $r$ 下。根据之前的工作，可以很容易地表明方程 3 中 KL 约束奖赏最大化目标的最优解采用以下形式：
$${\pi }_r(y|x)=\frac{1}{Z(x)}{\pi }_{ref}(y|x)exp(\frac{1}{\beta }r(x,y)),\text{\hspace{1em}(4)}$$
其中 $Z(x)={\sum }_y{\pi }_{ref}(y|x)exp(\frac{1}{\beta }r(x,y))$是配分函数。完整推导请参见附录 A.1。即使我们使用真实奖赏函数 $r^{\ast }$ 的 MLE 估计 $r_{\varphi }$，估计配分函数 $Z(x)$ 的成本仍然很高，这使得这种表示在实践中很难使用。然而，我们可以重新排列方程 4，用相应的最优策略 ${\pi }_r$、参考策略 ${\pi }_{ref}$ 和未知的配分函数 $Z(\cdot )$ 来表达奖赏函数。具体来说，我们首先对等式4两边取对数，然后通过一些代数我们得到：
$$r(x,y)=\beta log\frac{{\pi }_r(y|x)}{{\pi }_{ref}(y|x)}+\beta logZ(x).\text{\hspace{1em}(5)}$$
我们可以将这种重参数化应用于真实奖励 $r^{\ast }$ 和相应的最优模型 ${\pi }^{\ast }$。幸运的是，Bradley-Terry 模型仅取决于两个响应之间的奖赏差异，即 $p^{\ast }(y_1\succ y_2|x)=\sigma (r^{\ast }(x,y_1)-r^{\ast }(x,y_2))$。将方程 5 中 $r^{\ast }(x,y)$ 的重新参数化代入偏好模型方程 1，配分函数取消，我们可以仅用最优策略 ${\pi }^{\ast }$ 和参考策略 ${\pi }_{ref}$ 来表达人类偏好概率。因此，Bradley-Terry 模型下的最优 RLHF 策略 ${\pi }^{\ast }$ 满足偏好模型：
$$p^{\ast }(y_1\succ y_2|x)=\frac{1}{1+exp(\beta log\frac{{\pi }^{\ast }(y_2|x)}{{\pi }_{ref}(y_2|x)}-\beta log\frac{{\pi }^{\ast }(y_1|x)}{{\pi }_{ref}(y_1|x)})}\text{\hspace{1em}(6)}$$

推导见附录 A.2。而方程6使用Bradley-Terry模型，我们可以类似地推导更通用的Plackett-Luce模型下的表达式，如附录A.3所示。
　　现在我们有了最优策略而不是奖赏模型相关的人类偏好数据的概率，我们可以制定最大似然目标来参数化策略 ${\pi }_{\theta }$。与奖赏建模方法（即方程 2）类似，我们的策略目标变为：
$${\mathcal{L}}_{DPO}({\pi }_{\theta };{\pi }_{ref})=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}[log\sigma (\beta log\frac{{\pi }_{\theta (y_w|x)}}{{\pi }_{ref}(y_w|x)}-\beta log\frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{ref}(y_l|x)})].\text{\hspace{1em}(7)}$$

这样，我们使用另外一种参数化方式来拟合隐式奖赏，其中最优策略就是${\pi }_{\theta }$。此外，由于我们的过程相当于拟合重参数化的 Bradley-Terry 模型，因此它具有某些理论特性，例如在偏好数据分布的适当假设下的一致性。在第 5 节中，我们进一步讨论 DPO 与其他工作相关的理论特性。
　　What does the DPO update do?。为了从原理上理解 DPO，分析损失函数 ${\mathcal{L}}_{DPO}$ 的梯度很有用。 相对于参数 $\theta$ 的梯度可以写为：
$${\nabla }_{\theta }{\mathcal{L}}_{DPO}({\pi }_{\theta };{\pi }_{ref})=-\beta {\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\underset{higherweighterwhenrewardestimateiswrong}{\underbrace{\sigma ({\hat{r}}_{\theta }(x,y_l)-{\hat{r}}_{\theta }(x,y_w))}}\right[\underset{increaselikelihoodof{y}_w}{\underbrace{{\nabla }_{\theta }log\pi (y_w|x)}}-\underset{decreaselikelihoodof{y}_l}{\underbrace{{\nabla }_{\theta }log\pi (y_l|x)}}\left]\right],$$
其中 ${\hat{r}}_{\theta }(x,y)=\beta log\frac{{\pi }_{\theta }(y|x)}{{\pi }_{ref}(y|x)}$ 是由语言模型 ${\pi }_{\theta }$ 和参考模型 ${\pi }_{ref}$ 隐式定义的奖赏（更多内容请参见第 5 节）。直观上，损失函数 ${\mathcal{L}}_{DPO}$ 的梯度增加了偏好响应 $y_w$ 的似然，并降低了非偏好响应 $y_l$ 的似然。重要的是，这些例子的加权是通过隐式奖赏模型 ${\hat{r}}_{\theta }$ 对非偏好响应的评分高出多少来衡量的，并按 $\beta$ 进行缩放，即隐式奖赏模型对响应排序的错误估计程度，考虑到 KL 约束的强度。我们的实验表明了这种加权的重要性，因为没有加权系数的这种方法的简单版本可能会导致语言模型退化（附录表3）。
　　DPO outline。一般的 DPO 流程如下： 1）对每个提示 $x$ 进行样本补全 $y_1,y_2\sim {\pi }_{ref}(\cdot |x)$，用人类偏好进行标注，构建偏好的离线数据集 D={x(i),yw(i),yl(i)}i=1N\mathcal D=\{x^{(i)}, y^{(i)}_w, y^{(i)}_l\}^N_{i=1}D={x(i),yw(i)​,yl(i)​}i=1N​，2) 优化语言模型 ${\pi }_{\theta }$，以最小化给定 ${\pi }_{ref}$ 和 $\mathcal{D}$ 以及 $\beta$ 的 ${\mathcal{L}}_{DPO}$。在实践中，人们希望可复用公开可用的偏好数据集，而不是生成样本并收集人类偏好。由于偏好数据集是使用 ${\pi }_{SFT}$ 进行采样的，因此当可用时，我们初始化 ${\pi }_{ref}={\pi }_{SFT}$。然而，当 ${\pi }_{SFT}$ 不可用时，我们通过最大化偏好补全 $(x,y_w)$ 的似然来初始化 ${\pi }_{ref}$，即 ${\pi }_{ref}=argma{x}_{\pi }{\mathbb{E}}_{x,y_w\sim \mathcal{D}}[log\pi (y_w|x)]$。此过程有助于减轻不可用的真实参考分布与 DPO 使用的 ${\pi }_{ref}$ 之间的分布偏移。有关实现和超参数的更多详细信息可以在附录 B 中找到。

5.Theoretical Analysis of DPO

5.1 Your Language Model Is Secretly a Reward Model

5.2 Instability of Actor-Critic Algorithms