DeepSeek架构基础及其GRPO、PPO原理及其训练

DeepSeek 是北京深度求索人工智能基础技术研究有限公司推出的人工智能技术品牌，专注于大语言模型（LLM）的研发与应用。其技术涵盖了从模型架构、训练方法到应用部署的多个层面，展现出强大的创新能力和应用潜力。以下将详细介绍 DeepSeek 的核心技术、工作原理以及具体实现方式。

知乎：姜富春（已授权）链接：https://zhuanlan.zhihu.com/p/16730036197编辑：「深度学习自然语言处理」公众号引言deepseek最近比较出圈，本人也一直关注deepseek发布的一些技术报告。在模型训练、推理性能和计算成本上一直能给大家惊喜。读了deepseek的技术报告，我个人有两个比较强的感受。第一：deepseek在模型细节上扣的比较极致，魔改了一些模型框...

大道至简！没想到我们求索多年的问题，Ron 早在几十年前就已经为我们写好了答案

策略模型根据给定输入q生成输出O；一个单独的价值模型预测基线v，与广义优势估计（GAE）一起用于计算优势A；奖励r包含使用参考模型和奖励模型计算出的KL惩罚项；这种架构会导致显著的资源开销。

GRPO，一种新的强化学习方法，是DeepSeek R1使用到的训练方法。今天的这篇博客文章，笔者会从零开始，层层递进地为各位介绍一种在强化学习中极具实用价值的技术——**GRPO（Group Relative Policy Optimization）**。如果你是第一次听说这个概念，也不必慌张，笔者会带领你从最基础的强化学习背景知识讲起，一步步剖析其来龙去脉，然后再结合实例讲解 GRPO 在实际应用中的思路和操作示例，最后再和其他近似方法对比，看看它和当下主流的 PPO（近端策略优化）等方法究竟有何区

传统方法：老师先教 1000 道例题（SFT 数据），学生模仿练习。R1-Zero 方法：直接扔给学生 100 万道题，配一台“自动批改机”。学生自己摸索解法，机器实时反馈对错。最终，学生总结出一套高效的解题套路，甚至超越老师教的答案。这就是 R1-Zero 的核心——让 AI 在“题海战术+自动批改”中自我顿悟。传统做法：召集全国名师手写答案 → 耗时十年，成本爆炸。AI 辅助做法Step1：请 10 位名师写 100 道标准答案（冷启动数据）。Step2。

DeepSeek-R1 是一款基于强化学习的先进推理模型，其通过冷启动数据、多阶段训练、组相对策略优化等技术实现了卓越的推理性能。同时，其开源特性、低成本运行以及广泛的应用场景使其成为AI领域的重要突破。这一模型不仅推动了AI技术的发展，也为企业和开发者提供了强大的工具支持。DeepSeek-R1 在教育辅导和金融分析等领域展现了卓越的应用效果。在教育领域，它通过个性化学习工具、多模态处理能力和强大的推理能力，显著提升了教学质量和学习效率；

DeepSeek R1 是深求智能（DeepSeek）推出的专注于提升推理能力的语言模型，其核心原理与优化策略体现了强化学习技术与多阶段训练流程的深度结合。R1 采用作为强化学习框架。与传统PPO算法依赖Critic模型不同，GRPO通过计算组内样本的奖励均值和标准差动态调整优势函数，省去了Critic模型训练成本，降低显存占用约20%。这一设计使模型在无需额外参数的情况下，通过组内对比学习直接优化策略模型，显著提升训练效率。

例如数学问题求解、代码生成、逻辑推理等。

在这场变革中，平台需要构建“人类社区+AI工具”的混合生态，个体则需拥抱“人机协同”的新工作哲学——因为未来不属于AI或人类，而属于最善用AI的人类。这一合作不仅让知乎股价单日暴涨17%，更标志着大模型技术从“生成答案”向“推理答案”的跨越——知识服务的竞争，正式进入逻辑与证据并重的深水区。传统AI问答往往面临“结果正确但依据模糊”的痛点，而DeepSeek-R1通过调用知乎语料库，使推理过程可追溯至具体文献或高赞回答，大幅降低“AI幻觉”风险。这种“技术普惠+垂直深耕”的组合，正在重构全球AI竞争格局。

总结来说，PPO和DPO在算法框架和目标函数上有共同之处，但在实现方式、并行化程度以及适用的计算环境上存在差异，DPO特别适用于需要大规模并行处理的场景。总结来说，PPO专注于通过剪切概率比率来稳定策略更新，而DPO在此基础上引入分布式计算，以提高数据收集和处理的效率，加快学习速度。

写这篇文章的起因是，上周读了https://zhuanlan.zhihu.com/p/1082394115这篇知乎文章，文中探讨了关于DPO的局限性。在我之前写DPO的推导过程时（https://zhuanlan.zhihu.com/p/721073733），我就一直有一个主观感觉，rlhf算法的优化效果和客观世界的真值比起来，误差主要分布在【奖励函数误差】【prompt x】和【response y】上，其中我认为后两者是至关重要的（和数据集密切相关），他们也间接决定了【奖励函数的误差】。

通过这个小学考试的比喻，我们逐步从。

但它在此基础上进行了许多优化，使得AI不仅能理解更长的文本，还能更高效地进行计算。，这个概念可以类比成“一个团队里有许多不同领域的专家”，当你向AI提问时，它不会让所有专家同时来回答，而是根据问题的类型，选择最合适的几位专家来处理任务，这样既能提高AI的智能水平，又能减少计算资源的消耗。例如，一个AI可以既懂金融，又懂医学，但当你问它“如何投资股票”时，它会调用“金融专家”而不是“医学专家”，从而提高效率。此外，

文章地址： PPO: Proximal Policy Optimization Algorithms 一. PPO资料 PPO原理讲解BLOG①：这篇blog详细讲了PPO算法的产生过程及原理，包含部分理论推导，看完这篇blog基本就理解PPO了。 PPO原理讲解BLOG②：可参考，其中包含部分tensorflow实现代码。 二. PPO原理简述 2.1 背景 PPO是基于基本的Policy Gradient进行改进的算法，关于PG的更新过程这里不详细描述了，可以根据上述BLOG①或其他资料或下面的图片推导

本文提出一种基于多通道表面肌电信号(sEMG)和深度卷积神经网络(CNN)的下肢多关节运动估计方法。研究采集了骑行和步行任务中的7通道sEMG信号，通过带通滤波、全波整流等预处理后构建CNN模型，用于估计髋、膝、踝关节角度。实验结果表明，所提CNN模型在骑行任务中三个关节的估计均方根误差分别为3.8886°、2.8199°和3.1148°，精度显著优于传统BPNN和RBFNN模型。该研究为下肢康复外骨骼的人机交互控制提供了理论基础，未来将探索sEMG时频特征对模型的影响及非理想环境下的意图识别问题。

自然语言处理（NLP）技术在过去十年取得了飞跃式发展，但其核心挑战之一——让机器真正“理解”语言——仍未完全解决。传统的文本预处理流程，包括数据清洗、文本规范化和词向量化，构成了所有下游任务的基石。然而，这些主流方法，如基于TF-IDF的特征提取或基于Word2Vec的词嵌入，在本质上依赖于统计共现（statistical co-occurrence）。它们能出色地捕捉词汇间的“相关性”，例如，“医生”和“医院”经常一同出现，但却难以洞察其背后更深层次的“因果性”——即一个事件或概念如何导致另一个的发生。