【ChatGPT】ChatGPT 工作原理解析 & 技术架构讲解 | How ChatGPT Works Technically | ChatGPT Architecture

最新推荐文章于 2025-04-28 00:22:11 发布
最新推荐文章于 2025-04-28 00:22:11 发布
阅读量1.2w 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： ChatGPT 架构师必知必会系列 文章标签： chatgpt 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/universsky2015/article/details/130416852
本文介绍了ChatGPT的工作原理，包括其基于大型语言模型（如GPT-3.5）的Transformer结构，预训练与微调过程，以及如何通过提示词工程和来自人类反馈的强化训练（RLHF）提高安全性。ChatGPT使用PPO进行模型优化，会话提示注入以保持上下文，并通过审核API过滤不安全内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

目录

ChatGPT 1亿月活用户只用了2个月

什么是大型语言模型？

模型的有害输出问题

 提示词工程： prompt engineering

 来自人类反馈的强化训练（RLHF）

第一步是创建一个比较数据集。

下一步是建立奖励模型。

使用PPO或近端策略优化来训练模型

会话提示注入

警告或阻止某些类型的不安全内容

番外篇：GPT-4：ChatGPT 工作原理解析 & 技术架构讲解

ChatGPT 工作原理解析 & 技术架构讲解

一、背景

1.1 OpenAI GPT系列

二、ChatGPT的工作原理

2.1 Transformer

2.2 预训练及微调

三、技术架构

3.1 输入输出处理

3.2 损失函数及温度参数

四、总结

ChatGPT 1亿月活用户只用了2个月

In this video, we take a look at how ChatGPT works. We learned a lot from making this video. We hope you will learn something, too. Let’s dive right in. ChatGPT was released on November 30, 2022. It reached 100M monthly active users in just two months. It took Instagram two and a half years to reach the same milestone.

在这个视频中，我们来看看ChatGPT是如何工作的。我们从制作这个视频中学到了很多。我们希望你也能学到一些东西。让我们直接进入。ChatGPT于2022年11月30日发布。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI系统的公平性评估：确保模型无歧视的方法论
AI天才研究院
02-04 966
Introduction to AI Systems Fairness What is AI System Fairness? AI system fairness refers to the absence o
OpenAI 首席科学家MIT演讲：揭示 o1模型训练核心 激励模型学习是培养 AGI 的最佳方式
AI天才研究院
09-25 251
例如，Hyung Won Chung 提出，为了解决语言模型中的“幻觉问题”（hallucination），可以设计奖励结构，使得模型不仅仅追求回答问题的正确性，还要学会在不确定的情况下说“不知道”。他指出，AI研究者的工作是利用这种不断扩大的计算能力，设计可扩展的算法，使模型能够随着计算资源的增加而自动提升性能。在他的演讲中，他提出了类比“教人钓鱼”的方式，强调激励学习的重要性：“授人以鱼，不如授人以渔”，但是更进一步的激励应该是： “让他知道鱼的美味，并让他保持饥饿”，这样他就会主动去学习如何钓鱼。
ChatGPT 发展历程、原理、技术架构详解
Python猫
02-16 6474
△点击上方“Python猫”关注 ，回复“1”领取电子书大家好，我是猫哥。最近 ChatGPT 的内容铺天盖地，话题热度全网第一，我们想不注意它都不可能。去年 12 月份的时候，ChatGPT 横空出世，我当时就体验过，感觉十分惊艳。如今它火爆出圈，而且大有要颠覆搜索引擎、引领新的互联网革命的势头，不由得让人想进一步深入了解它。今天分享一篇深度干货，让大家对它有更全面的认知~以下为正文，作者陈巍博...
[中英对照]How PCI Works | PCI工作原理
weixin_30271335的博客
09-05 332
How PCI Works | PCI工作原理 Your computer's components work together through a bus. Learn about the PCI bus and PCI card, such as the one above. See more computer hardware pictures. The ...
nodejs架构_Nodejs的完美架构：技术上如何工作？
weixin_26750481的博客
09-15 393
nodejs架构The main goal of this blog is to explain the “Architecture of Nodejs” and to know how the Nodejs works behind the scenes, 该博客的主要目的是解释“ Nodejs的体系结构 ”，并了解Nodejs在幕后的工作方式， Generally, most of the ...
linux numa,NUMA工作原理
weixin_28314575的博客
05-25 636
Contrasting the SMP/UMA and NUMA architecturesThe SMP/UMA architecture The SMP,or UMA architecture, simplifiedWhen the PC world first got multiple processors, they were all arranged withequal access t...
Linux 内核模块管理 | 加载 / 卸载 / 自动启动配置
最新发布
u013669912的博客
04-28 866
……
计算机网络 | 网络字节序 / 字节序类型验证 / 字节序转换
u013669912的博客
06-24 1895
……
VLC 架构讲解一
jack_incredible的专栏
03-05 1604
http://xcshen.blog.51cto.com/2835389/546384 The architecture of VLC media framework VLC is a free and open source cross-platform multimedia player and framework that plays mo
这位挪威博士是如何成为阿里云PolarDB资深架构师的?
阿里云开发者
09-06 610
简介：挪威博士倾心传授对于软件架构师角色至关重要的经验，希望能指导和帮助各位技术同学实现成为资深技术架构师。我叫Øystein Grøvlen，在过去的三年中，我一直在阿里巴巴PolarDB团队的优化器和执行器团队担任资深技术专家。我来自挪威，但在2018年来到中国杭州阿里巴巴公司, 一年后，我搬到了加利福尼亚州桑尼维尔的阿里巴巴公司办公室。My name is Øystein Grøvlen, and for the last 3 years I have been working as a Senior
[转]插件体系架构（Plugin Architecture）
weixin_30727835的博客
07-09 304
http://blog.nuclex-games.com/tutorials/cxx/plugin-architecture/ 网上已有人将此文翻译了过来，不过还是感觉看原文更好理解一些。 http://www.cppblog.com/yuanyajie/archive/2007/04/17/22134.aspx This article will guide you through ...
Architecture of the Solana Validator
chengbin20101的博客
07-27 916
Architecture of the Solana ValidatorClustersOverviewOverview of a Solana ClusterCreating a Cluster​Joining a Cluster​Sending Transactions to a Cluster​Confirming Transactions​Solana ClustersAvailable Solana ClustersDevnetTestnetMainnet BetaBenchmark a Clus
2023，程序员的出路在哪里？
热门推荐
AI天才研究院
02-05 20万+
可是似乎从30岁开始这工资就没涨过，前面跳槽几次涨的薪水在30岁以后跳槽已经不管用了、定格了，这几年由于市场环境不景气，程序员竞争越来越激烈，36岁跟30拿的工资一模一样，不仅工资拿的一样，反而事情还越来越多了，这些都意味着什么？处理故障需要的通常不仅仅是写代码的能力，还需要对一个系统的全貌要有一定的掌握。虽然目前不少大型互联网企业都在进行结构性调整，但是从互联网行业发展的基本面来看，未来在产业互联网发展的过程中，IT行业和传统行业将会释放出大量的就业岗位，所以未来程序员的发展空间还是非常值得期待的。
怎样成为一个优秀的架构师？
AI天才研究院
10-08 17万+
怎样才算是架构师？ 架构师是一个既能掌控整体又能洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。看似完美的“人格模型”背后，是艰辛的探索。 架构师不是一个人，他需要建立高效卓越的体系，带领团队去攻城略地，在规定的时间内完成项目。 架构师的分类 从业界来看对于架构师的理解可以大概区分为： 企业架构师：专注于企业总体 IT 架构的设计。 IT 架构师-软件产品架构...
华为鸿蒙操作系统 Harmony OS：为中国的软件行业种“根”
AI天才研究院
09-22 17万+
HarmonyOS是一款“面向未来”、面向全场景（移动办公、运动健康、社交通信、媒体娱乐等）的分布式操作系统。在传统的单设备系统能力的基础上，HarmonyOS提出了基于同一套系统能力、适配多种终端形态的分布式理念，能够支持多种终端设备。
程序员职业生涯系列：关于技术能力的思考与总结
AI天才研究院
08-29 13万+
引子儒、释（佛）、道三家思想：释（佛家）：处理好人与心的关系，我们要战胜自己；儒（儒家）：处理好人与人的关系，我们要团结好他人；道（道家）：处理好人与自然的关系，我们应该顺势而为。明人陆绍珩《醉古堂剑扫》自叙有云：一愿识尽人间好人，二愿读尽世间好书，三愿看尽世间好山水。或曰：静则安能，但身到处，莫放过耳。旨哉言乎！余性懒，逢世一切炎热争逐之场，了不关情。惟是高山流水，任意所如，遇翠丛紫莽，竹林芳径......
【禅与计算机程序设计艺术】7 大程序设计原则
AI天才研究院
05-05 10万+
编程的工作既是技术活，也是体力活，而编写优秀的软件，更是一件比较难的事情。 初级程序员只希望代码不出错，顶级程序员却把写代码当成艺术，当年雷军以过人的能力成为求伯君的左膀右臂，其早年的代码被说成“像诗一样优美”。 很多大牛，在着手写代码时并不是直接上手编写，而是根据需求进行设计，不但将代码中 Bug 出现的机率降到最低，还让代码具有高可读性，高安全性等等。 那大牛们都遵循怎样的原则呢，我们能不能学......
10个顶级商业思维：如何升级思维模式突破认知，让自己快速成长
AI天才研究院
02-28 9万+
​​人和人之间唯一的不同就是大脑的思维模式不一样，信念价值观不一样。不同的思维模式，不同的的信念价值观，造就了我们每个人不同的想法。看事情的角度和高度都不一样。学习的目的就是要打开我们的思维模式，心智模式。让自己上升到更高的思考层面。结合自己的实际情况去做出调整，而不是照搬照抄。 顶级思维模式一：因果思维 因果定律是宇宙的终极法则。“万法皆空，唯因果不空”。按佛家的说法，菩萨都...
程序员人生：技术人员的职业发展规划
AI天才研究院
09-27 8万+
工程师在实践中会掌握大量细节，但是，即使掌握了所有细节，却没有深刻的总结和思考，也会陷入到“学而不思则罔”的境地。成长的“量变”来自于对细节的逐渐深入地把控，而真正的“质变”来自于对“道”的更深层次的理解。将经验输出，接受别人的检验是高层次的总结。这种输出不仅帮助了别人，对自身更是大有裨益。总结的方式有很多，包括组织分享，撰写技术文章等等。当然“日三省吾身”也是不错的总结方式。总之，多多总结，多多分享，善莫大焉！解答别人的问题也是个人成长的重要手段。
产品管理与技术实践：Technically-Tony的技能之旅
3. 分析与可视化：涉及使用各种工具和技术来解析数据，通过图表、图形等形式，使数据易于理解。 4. 原型设计：一种快速将产品理念转化成可视化的工具或模型的技能，有助于早期测试和迭代。 5. 产品管理：涉及规划、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值