[读论文]Deepseek V1

最新推荐文章于 2025-08-09 17:19:50 发布
最新推荐文章于 2025-08-09 17:19:50 发布
阅读量989 收藏 16
点赞数 27
CC 4.0 BY-SA版权
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wqxwy/article/details/145368023

[2501.12948] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

介绍

  • 推理任务：

    1. DeepSeek-R1在AIME 2024上获得了79.8%的Pass@1得分，略微超越了OpenAI-o1-1217。在MATH-500上，它获得了97.3%的得分，与OpenAI-o1-1217相当，并显著优于其他模型。

    2. 在与编码相关的任务中，DeepSeek-R1在代码竞赛任务中表现出专家水平，其在Codeforces上的Elo评分为2029，超越了96.3%的人类参赛者。在工程相关任务中，DeepSeek-R1的表现略优于DeepSeek-V3，这可能有助于开发人员在现实世界任务中的应用。

  • 知识任务：在MMLU、MMLU-Pro和GPQA Diamond等基准测试中，DeepSeek-R1取得了出色的成绩，显著优于DeepSeek-V3，得分分别为90.8%（MMLU）、84.0%（MMLU-Pro）和71.5%（GPQA Diamond）。虽然在这些基准测试中其表现略低于OpenAI-o1-1217，但DeepSeek-R1超越了其他闭源模型，展示了其在教育任务中的竞争优势。在事实基准测试SimpleQA上，DeepSeek-R1优于DeepSeek-V3，展示了其处理基于事实的查询的能力。OpenAI-o1在这一基准测试中也超越了GPT-4o。

  • 其他任务：DeepSeek-R1在创意写作、通用问答、编辑、总结等广泛任务中也表现出色。它在AlpacaEval 2.0上获得了87.6%的长度控制胜率，在ArenaHard上获得了92.3%的胜率，展示了其在智能处理非考试导向查询方面的强大能力。此外，DeepSeek-R1在需要长上下文理解的任务上表现出色，显著优于DeepSeek-V3。

直接在基础模型上应用强化学习（RL），而不依赖于监督微调（SFT）作为初步步骤

大模型的推理模式可以蒸馏到小模型中，从而获得比在小模型上通过RL发现的推理模式更好的性能。

2. 方法

（1）DeepSeek-R1-Zero，它直接在基础模型上应用RL，不使用任何SFT数据；

（2）DeepSeek-R1，它从经过数千条长思维链（CoT）示例微调的检查点开始应用RL；

（3）将DeepSeek-R1的推理能力蒸馏到小型密集模型中。

2.2.1 强化学习

为了节省RL的训练成本，我们采用了组相对策略优化（GRPO）（Shao et al., 2024），它放弃了通常与策略模型大小相同的批评模型，而是从组分数中估计基线。具体来说，对于每个问题 q，GRPO从旧策略 \pi\theta_{old} 中采样一组输出{o1​,o2​,⋯,oG​}，然后通过最大化以下目标来优化策略模型  \pi\theta_{old}：

[ \mathcal{J}_{GRPO}(\theta)=\mathbb{E}[q\sim P(Q),{\{o_i\}}_{i=1}^{G} \sim\pi{\theta_{old}}(O|q)] ]

最低0.47元/天 解锁文章

200万优质内容无限畅学
hwshdujcj
关注
DeepSeek V1：初代模型的架构与性能
WeLearnNLP
04-30 732
本文将深入解析DeepSeek V1的架构设计与技术细节，包括其关键机制、训练优化策略，以及在各类NLP任务上的表现。
DeepSeek系列 ----《DeepSeekMoE - Towards Ultimate Expert Specialization in Mixture-o》论文解析
Chown先森
04-22 227
在大语言模型时代，混合专家（MoE）是一种很有前景的架构，可以实现在扩大模型参数时，同时对计算成本进行有效控制。然而，像GShard这样的传统MoE架构，它在N个专家（experts）中激活top-K个，其在专家专业化方面面临着挑战，每个专家要求获得不重叠和集中的知识。为此，我们提出了DeepSeekMoE架构，以实现最终的专家专业化。
deepseek各个版本及论文
evanzh7的博客
01-26 2万+
论文地址：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf5。论文地址：https://arxiv.org/abs/2401.0295420。论文地址：https://arxiv.org/abs/2412.1943714。论文地址：https://arxiv.org/abs/2401.060662。论文地址：https://arxiv.org/abs/2501.129481。
deepseek-vl 论文阅读笔记
samoyan的博客,记录技术成长~
07-22 5687
我们的语言模型基于DeepSeek LLM（DeepSeek-AI，2024），其微设计大体遵循LLaMA（Touvron等，2023a,b）的设计，采用带有RMSNorm（Zhang和Sennrich，2019）函数的Pre-Norm结构，并使用SwiGLU（Shazeer，2020）作为前馈网络（FFN）的激活函数，中间层维度为8/3模型维度。此外，我们引入了一种新的“模态预热”策略。为了促进创新并支持广泛的应用需求，我们公开了两个版本的模型，分别为1.3B和7B，以满足不同计算能力的需求。
DeepSeek-VL论文阅读和整理
wentinghappyday的博客
03-25 2803
DeepSeek-VL的论文理解
【DeepSeek论文精读】1. 从 DeepSeek LLM 到 DeepSeek R1
热门推荐
youcans的博客
01-29 4万+
DeepSeek R1 推理大模型的发布颠覆了我们的认知。本文介绍从 DeepSeek LLM、DeepSeek MoE、DeepSeek V2、DeepSeek V3 到 DeepSeek R1 的发展历程。本系列将逐篇解读 DeepSeek 论文和模型。
DeepSeek-R1 论文解读
yaohaishen的专栏
01-21 1万+
作者展示了通过大规模强化学习（RL）可以显著提升模型的推理能力，即使不使用监督微调（SFT）作为冷启动。进一步地，加入少量冷启动数据可以进一步提升性能。：直接在基础模型上应用RL，无需任何SFT数据。：从经过数千个长链推理（CoT）示例微调的检查点开始应用RL。蒸馏：将DeepSeek-R1的推理能力蒸馏到小型密集模型中。
NLP高频面试题（二十一）——deepseek V1-V3 分别有哪些改进，这些改进是如何对模型产生影响的
WeLearnNLP
03-28 1107
从 DeepSeek V1 到 V3，短短一年时间内，这一开源模型系列在架构设计、训练规模和能力表现上实现了跨越式发展。V1 时期，研究团队以较低的算力成本奠定了模型基础，通过增加深度、优化超参数和加入更多中文及代码数据，使模型性能超越了同规模的主流开源模型。V2 版本大胆引入 MoE 稀疏架构和 MLA 注意力机制，将模型规模提升数倍的同时显著降低了训练和推理的单位成本；由此带来的性能提升，使开源模型首次逼近了闭源模型的水准。
从图文到声纹：DeepSeek 多模态技术的深度解析与实战应用
邓邓子的博客
05-04 1994
本文深入探讨DeepSeek的多模态应用。基于Transformer架构与混合专家模型等核心技术，DeepSeek实现文本、图像、音频等多模态数据的高效处理。在文本与图像关联方面，通过时空同步对比学习等技术实现图文跨模态对齐，支撑图像生成、多模态检索等应用；在文本与音频关联中，完成语音识别、音频理解与文本驱动音频生成等任务。其应用优势显著，可提升交互体验、提高内容生产效率，但也面临计算资源消耗大等挑战。文章还展望了DeepSeek多模态技术未来发展趋势与应用拓展前景，展现其对多模态技术发展的重要意义。
[EAI-024] DeepSeek-R1 技术报告解读
全性保真，不以物累形。
01-27 6568
DeepSeek-R1-Zero 模型通过 RL 进行训练，无需监督微调 (SFT) 作为预备步骤，展现出非凡的推理能力。通过RL，DeepSeek-R1-Zero 自展现出许多强大而有趣的推理行为。然而，它也面临一些挑战，例如可读性差和语言混杂。 为了解决这些问题并进一步提高推理性能，引入了 DeepSeek-R1，它在RL之前结合了多阶段训练和冷启动数据。DeepSeek-R1 在推理任务上的性能可与 OpenAI-o1-1217 相媲美。
LLMs之DeepSeek-V1之GRPO：《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language M
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-23 1477
​ LLMs之DeepSeek-V1：《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》翻译与解读 目录 《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》翻译与解读 Abstract 1、Introduct
万字长文解构DeepSeek V1/V2/V3/R1进化史：从算法革命到推理涌现！
QcloudCommunity的博客
02-27 1378
????目录一、 Deepseek-LLM （V1-V3）系列1 DeepSeek-67B (V1)1.1 预训练1.2 对齐（SFT+DPO）1.3 论文主要亮点2DeepSeek-V22.1 数据2.2 架构2.3 评估2.4 优化3Deepseek V33.1 论文主要亮点3.2 模型架构改进3.3 基础设施和训练框架测试3.4 训练阶段3.5 评估二、 Deepseek R1系列1 ...
DeepSeek由V1到R1进化史：从算法革命到推理涌现
2301_77727994的博客
02-28 1056
本文根据已发布的deepseek相关论文，对论文内容进行解析，分析出Deepseek-LLM （V1-V3）系列算法演变及知识推理是如何产出的，并对相关的模型特点进行了概括总结。V1模型重点在于保障效果的前提下，探索低成本算法，在低成本情况下做Scaling Laws实验，打牢基础。延用LLAMA 2 稠密（Dense）模型的架构，使用2万亿Token的中英数据来做超参数和模型大小/数据配比的Scaling Laws实验，后训练阶段使用SFT和DPO算法，在多个维度超越LLaMa2 70B。
【AI论文】高效智能体：在降低成本的同时构建高效能智能体
m0_66899341的博客
08-08 559
本研究系统探究了大型语言模型(LLM)智能体的效率与效能平衡问题，针对当前智能体系统运营成本高昂的痛点，通过GAIA基准测试集实证分析了LLM主干模型选择、框架设计和扩展策略的影响。研究发现：1)任务复杂度存在最优阈值；2)额外模块的边际效益递减；3)框架优化可显著提升效率。基于此开发的EfficientAgents框架，在保持96.7%性能的同时降低28.4%成本，实现"通过成本"指标优化。研究为构建经济高效的智能体系统提供了实证依据和方法指导，推动AI解决方案的可持续发展。
强化学习-MATLAB
最新发布
weixin_45302337的博客
08-09 233
black box -> machine learning不需要标签，根据内在特征进行聚类等相似操作；这就是ML所擅长的，从数据中找出特征进而得到label；序列行为实现最优的回报；可以将policy使用深度神经网络这也是DRL的由来；RL算法的作用就是基于观测，奖励等去优化策略，以采取最优动作进而获得最大回报；所以，RL就是一个优化问题：与其他优化问题区分开来：关键点：评估状态价值，将能够使得智能体获得更高回报，而不是只是关注即时奖励；如果不能够评估状态价值，很有可能导致Agent陷入利用（贪婪）的状态，
教程 | 使用SAHI结合supervision进行小目标检测
热爱分享，热爱记录
08-07 850
NMS 通过基于置信度分数消除冗余的检测结果来工作，而 NMM 则将重叠的检测结果合并，以增强对跨越多个图块的对象的表示。它将大图像分割成较小的切片，对每个切片进行推理，然后合并结果，以形成整个图像的最终检测结果。将图块数量增加到 5x5 网格，我们实际上是对图像进行了放大，这样模型就能捕捉到更精细的细节，比如之前可能遗漏的更小、更远的物体。在深入探讨用于小目标检测的SAHI技术之前，先看看经过微调的模型在未经任何预处理或切片的原始图像上的表现是很有帮助的。经过一些测试后，我发现最佳方法是检测人的头部。
快速了解svm算法
wzdzgdf的博客
08-08 967
如果你刚接触机器学习，一定听过各种算法的名字：决策树、神经网络、SVM… 其中 SVM（支持向量机，Support Vector Machine）作为经典的监督学习算法，在分类任务中曾长期占据 “顶流” 地位，至今仍在很多场景中发挥重要作用。今天这篇文章，带你快速搞懂 SVM 的核心逻辑、关键概念和实际价值。
成本低至1.5元/天，小智AI服务端，完整解决方案，高可用+可扩展
u010522887的专栏
08-09 407
本文分享了，`小智AI服务端`的一种`低成本、高可用`的完整解决方案。
几个概率分布在机器学习应用示例
gongdiwudu的专栏
08-08 717
在这份快速指南中，我们将介绍最重要的分布——从始终公平的均匀分布，到钟形的正态分布，计数点击的泊松分布，以及二元选择的二项分布。没有复杂的数学，只有清晰的概念、真实的例子，以及为什么它们重要。
deepseek润色论文
03-28
### 使用 DeepSeek 润色学术论文的方法 DeepSeek 是一种强大的大型语言模型，能够通过其先进的自然语言处理能力帮助用户润色学术论文。以下是具体方法： #### 1. 准备工作 在使用 DeepSeek 前，需准备好待润色的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值