【ChatGPT】从人类反馈 (RLHF) 中进行强化学习 | Illustrating Reinforcement Learning from Human Feedback (RLHF)

最新推荐文章于 2025-05-30 10:56:49 发布
最新推荐文章于 2025-05-30 10:56:49 发布
阅读量2.3w 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： ChatGPT 深度学习实战 文章标签： 深度学习 自然语言处理 人工智能 chatgpt 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/universsky2015/article/details/129990866

 

从人类反馈 (RLHF) 中进行强化学习 | Illustrating Reinforcement Learning from Human Feedback (RLHF)

目录

从人类反馈 (RLHF) 中进行强化学习 | Illustrating Reinforcement Learning from Human Feedback (RLHF)

RLHF 技术分解

Step 1. 预训练语言模型

Step 2. 训练奖励模型

Step 3. 用强化学习微调

RLHF 的未来

参考资料

Illustrating Reinforcement Learning from Human Feedback (RLHF)从人类反馈 (RLHF) 中进行强化学习

RLHF: Let’s take it step by stepRLHF：让我们一步步来

Pretraining language models  预训练语言模型

Reward model training  奖励模型训练

Fine-tuning with RL  使用 RL 进行微调

Open-source tools for RLHF  RLHF 的开源工具

What’s next for RLHF?  RLHF 的下一步是什么？

Further reading  延伸阅读

前言

OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它面对多种多样的问题对答如流，似乎已经打破了机器和人的边界。这一工作的背后是大型语言模型 (Large Language Model，LLM) 生成领域的新训练范式：RLHF (Reinforcement Learning fro

了解本专栏 订阅专栏 解锁全文 超级会员免费看
『大模型笔记』人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
AI新视界
08-09 739
人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
一文读懂「RLHF」基于人类反馈的进行强化学习
热门推荐
女王の专属领地
01-18 3万+
RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。多种策略产生样本并收集人类反馈训练奖励模型训练强化学习策略，微调 LM首先需要一个预训练语言模型，通过大量的语料去训练出基础模型，对于ChatGPT来说就是GPT-3。还有一个可选的Human Augmented Text,又叫Fine-tune。
强化学习与人类反馈（Reinforcement Learning from Human Feedback, RLHF）
Rhett_Butler0922的博客
05-01 930
即如何确保AI系统的行为与人类的目标和价值观一致。RLHF作为一种解决方案，最早由OpenAI提出，旨在通过人类反馈引导模型优化，解决对齐问题。RLHF是一种结合人类反馈和强化学习的强大技术，广泛应用于大语言模型的对齐和优化。其核心流程包括预训练、人类反馈、奖励建模和PPO优化，数学基础涉及强化学习、Bradley-Terry模型和KL散度正则化。强化学习的目标是优化一个智能体，使其通过与环境交互最大化累积奖励。RLHF的实现可以分为四个主要阶段，每个阶段都有其独特的目标和技术细节。，使期望奖励最大化。
大模型深度解析：基于人类反馈的强化学习（RLHF），超级详细，一文带你彻底理解
最新发布
2401_85375151的博客
05-30 910
随着大型语言模型（LLM）的快速发展， 如何使这些模型更好地理解和满足人类的需求成为了一个关键问题 。传统的训练方法往往依赖于 大规模的语料库和基于规则的损失函数 ，但这在处理复杂、主观和依赖上下文的任务时存在局限性。因此， 基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF） 应运而生，为模型的训练提供了一种新的思路。
LLMs: 强化学习从人类反馈中学习Reinforcement learning from human feedback (RLHF)
AI架构师易筋
09-29 1050
让我们考虑一下文本摘要的任务， 即使用模型生成一段简短的文本，捕捉 较长的文章中最重要的观点。您的目标是通过向模型 展示人工生成的摘要示例，使用微调来提高模型的总结能力。2020年，OpenAI的研究人员发表了一篇论文，探讨了使用 人工反馈进行微调来训练模型撰写文本文章的简短摘要。在这里，你可以看到，与 预训练模型、 指令微调模型甚至参考人类基线相比，根据人类反馈进行微调的模型产生的响应效果更好。
基于人类反馈的强化学习微调 (RLHF) (Reinforcement Learning from Human Feedback (RLHF) Fine-tuning)
YPeng_Gao的博客
03-13 1446
从 RLHF 的必要性、核心目标， 到完整流程 (SFT 模型训练、奖励模型训练、强化学习训练) 和关键算法 (PPO)， 再到 RLHF 面临的挑战和未来展望， 我们对 RLHF 进行了全方位、深层次的剖析。RLHF 并非一蹴而就， 而是一个精细的三阶段训练流程， 每一步都环环相扣， 共同构建了 RLHF 的完整技术体系， 最终打造出更聪明的模型。KL 散度可以衡量两个概率分布的相似程度， KL 散度越大， 说明新旧 Policy 差异越大， 惩罚也越大。
RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】
u013250861的博客
12-30 1万+
因此，训练阶段，如果直接用人的偏好（或者说人的反馈）来对模型整体的输出结果计算reward或loss，显然是要比上面传统的“给定上下文，预测下一个词”的损失函数合理的多。基于这个思想，便引出了本文要讨论的对象——为了能刻画模型输出的整体质量（而不是单个词），人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度，但这也仅仅是在评价的层面，模型在训练的时候是见不到这些人类真实的偏好的。取得了巨大的成功，诞生了不少有意思的AI应用，例如AI写小说，AI写代码，AI画图甚至AI做视频等。
【LLM】RLHF机制（Reinforcement Learning from Human Feedback）
发现问题，并解决问题，批判性思维
07-11 1966
RLHF分为三个步骤 我做你看：有监督学习，从训练集中挑出一批prompt，人工对prompt写答案 你做我看：奖励模型训练，这次不人工写答案了，而是让GPT3给出几个候选答案，人工对其质量排序，Reward model学习一个打分器；这个让机器学习人类偏好的过程就是【对齐】，但可能会导致胡说八道，可以通过KL Divergence等方法解决。instructGPT中奖励模型的损失函数如下，其中 rθ(x,y) 是奖励模型对提示x和完成y的标量输出，具有参数θ，
机器学习技术——强化学习从人类反馈（RLHF）
weixin_43156294的博客
02-07 1954
强化学习从人类反馈（Reinforcement Learning from Human Feedback，RLHF）是一种将人类反馈融入机器学习模型训练的技术。通过将人类的偏好、评价或直接指导等反馈作为奖励信号，训练奖励模型，再利用该奖励模型通过强化学习来优化智能体的策略，使智能体的行为与人类期望和偏好保持一致。传统强化学习依赖预先定义的奖励函数来指导智能体行为优化，但对于许多实际问题，设计准确反映目标并激励正确行为的奖励函数很困难。
基于人类反馈的强化学习(RLHF)[译]
yujianmin1990的专栏
02-24 5266
一篇关于RLHF（Reinforcement Learning from Human Feedback）的，翻过来以飨读者。
一文彻底搞懂大模型 - 基于人类反馈的强化学习（RLHF）
m0_59164520的博客
10-08 4553
随着大型语言模型（LLM）的快速发展，如何使这些模型更好地理解和满足人类的需求成为了一个关键问题。传统的训练方法往往依赖于大规模的语料库和基于规则的损失函数，但这在处理复杂、主观和依赖上下文的任务时存在局限性。因此，基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）应运而生，为模型的训练提供了一种新的思路。RLHF一、RLHF的框架什么是RLHF？基于人类反馈的强化学习（Reinforcement Learning from Human
基于人类反馈的强化学习(RLHF) 理论
消极的人永远是对的，积极的人选择勇往直前
05-07 2401
ChatGPT 背后的“功臣”——RLHF 学习笔记
浅谈RLHF---人类反馈强化学习
记录个人日常所学所思
07-14 868
通俗理解什么是RLHF
training a helpful and harmless assistant with refinforcement learning from human feedback
liguandong
03-26 879
preference model包括了从13m到52b的模型，所有的模型有三个阶段的训练，1.大量语料的预训练，2.在reddit等回答网站上搜集的混合对比数据，也就说对同一个问题，回答之间是可以构造样本数据对的（好的回答不好的回答），学习率0.1，token 1024；右图横轴是对话的轮数，纵轴是精度，可见随着对话轮数的增多，精度是下降的，但是上下文的context的增多，也有可能在多轮时会稍好一些，因为是训练的二分类模型，即判断结果的好坏，其实结果是可以通过精度量化的。
论文翻译 —— Deep Reinforcement Learning from Human Preferences
佚失的诗篇
10-02 3273
标题：Deep Reinforcement Learning from Human Preferences 文章链接：Deep Reinforcement Learning from Human Preferences blogpost： Learning from Human Preferences 发表：NIPS 2017 领域：模仿学习 —— 逆强化学习 文章目录1. Introduction1.1 Related Work2. 准备工作和方法2.1 设置和目标2.2 Our Method2.2.
人类反馈强化学习（RLHF）详解
百态老人的博客
02-16 967
定义：RLHF（Reinforcement Learning from Human Feedback）是一种结合人类反馈与强化学习的技术，通过人类的偏好、评价或指导优化智能体策略，使其输出更符合人类期望。它尤其适用于难以定义精确奖励函数的任务（如自然语言生成）或需要主观判断的场景。起源：传统强化学习依赖预设的奖励函数，但在复杂任务（如语言生成）中，设计有效的奖励函数困难。
浅谈: 强化学习从人类反馈（RLHF）[AI生成]
qq_32485005的博客
03-22 1430
强化学习（RL）是一种机器学习的方法，它让智能体（agent）通过与环境交互，从自己的行为中学习最优的策略。RL的目标是让智能体最大化累积的奖励（reward），而奖励通常是由环境给出的，反映了智能体的行为是否符合预期的目标。例如，在自动驾驶中，环境可能只在发生事故时给出负向的奖励，而忽略了其他方面的评价标准，如舒适度、安全性、效率等。强化学习从人类反馈（RLHF）是一种结合了强化学习和人机交互（HCI）的方法，它让智能体通过接收来自人类用户或专家的反馈来调整自己的行为。
【人工智能 Open AI 】关于从人类反馈 (RLHF) 中强化学习
AI天才研究院
02-24 5087
2022 年 12 月 9 日发布。GitHub 上的更新在过去的几年中，语言模型通过根据人类输入提示生成多样化且引人注目的文本显示出令人印象深刻的能力。然而，什么才是“好”文本本质上很难定义，因为它是主观的并且依赖于上下文。有许多应用程序，例如编写您需要创意的故事、应该真实的信息性文本片段，或者我们希望可执行的代码片段。or编写一个损失函数来捕获这些属性似乎很棘手，而且大多数语言模型仍然使用简单的下一个标记预测损失（例如交叉熵）进行训练。
Pytorch+PaLM实现RLHF强化学习算法及项目源码发布
具体来说，它将介绍如何利用Pytorch框架和PaLM架构来构建一个强化学习算法，这个算法具有人类反馈（Reinforcement Learning from Human Feedback，简称RLHF）的能力。通过这种方式，算法不仅能够自我学习并优化决策...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值