【人工智能 Open AI 】关于从人类反馈 (RLHF) 中强化学习

最新推荐文章于 2025-05-30 10:56:49 发布
最新推荐文章于 2025-05-30 10:56:49 发布
阅读量5k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： ChatGPT AI人工智能与大数据 文章标签： 人工智能
原文链接：https://huggingface.co/blog/rlhf
本文详细介绍了从人类反馈（RLHF）中强化学习的概念，包括预训练语言模型、奖励模型训练和使用强化学习微调。RLHF通过结合人类偏好数据，优化语言模型以更好地符合复杂的人类价值观。目前，RLHF已在CPT等模型中取得成功，未来的研究方向包括奖励模型的优化和RLHF流程的改进。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

Illustrating Reinforcement Learning from Human Feedback (RLHF)关于从人类反馈 (RLHF) 中强化学习

RLHF: Let’s take it step by stepRLHF：让我们一步步来

Pretraining language models  预训练语言模型

Reward model training  奖励模型训练

Fine-tuning with RL  使用 RL 进行微调

Open-source tools for RLHF  RLHF 的开源工具

What’s next for RLHF?  RLHF 的下一步是什么？

Further reading  延伸阅读

Illustrating Reinforcement Learning from Human Feedback (RLHF)
关于从人类反馈 (RLHF) 中强化学习

Published December 9, 2022.Update on GitHub
2022 年 12 月 9 日发布。GitHub 上的更新

natolambertNathan Lambert natolambert内森·兰伯特

了解本专栏 订阅专栏 解锁全文 超级会员免费看
基于人类反馈的强化学习概述
weixin_43961909的博客
09-10 300
为了加强大语言模型与人类价值观的一致性，基于人类反馈的强化学习旨在利用收集到的人类反馈数据指导大语言模型进行微调，从而使得大语言模型在多个标准（例如有用性、诚实性和无害性）上实现与人类的对齐。RLHF 首先需要收集人类对于不同模型输出的偏好，然后使用收集到的人类反馈数据训练奖励模型，最后基于奖励模型使用强化学习算法（例如 Proximal Policy Optimization, PPO）微调大语言模型。这种将人类反馈纳入大语言模型训练过程的方法已成为实现人类对齐的主要技术途径之一。
14.基于人类反馈的强化学习（RLHF）技术详解
YPeng_Gao的博客
06-15 916
先收集⼀个提示词集合，并要求标注⼈员写出⾼质量的回复，然后使⽤该数据集以监督的⽅式微调预训练的基础模型。对这⼀步的模型，OpenAI 在其第⼀个流⾏的 RLHF 模型 InstructGPT 中使⽤了较⼩版本的 GPT-3;这⼀模型接收⼀系列⽂本并返回⼀个标量奖励，数值上对应⼈的偏好。首先，该策略 (policy) 是一个接受提示并返回一系列文本 (或文本的概率分布) 的 LM。这个策略的行动空间 (action space) 是 LM 的词表对应的所有词元 (一般在 50k 数量级)