【论文阅读】Language Models are Few-Shot Learners(GPT-3)

原创 已于 2023-06-09 22:59:02 修改 · 1.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #语言模型 #r语言

于 2023-06-09 22:40:10 首次发布
本文探讨了GPT-3模型在无需大量标注数据的meta-learning和in-contextlearning中的应用，特别是在zero-shot,one-shot和few-shot设置下，展示其在自然语言处理任务中的适应性和性能。GPT-3在某些任务上能与微调的SOTA模型媲美，且大模型在few-shot学习中表现出更强的泛化能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

本文简要介绍了GPT-3的背景，模型架构，训练数据以及训练方式部分。具体训练细节，实验结果很多，可以在用到的时候再看

Intro

本文剖析了pretrain-finetune架构存在的问题：

  • 对于每个新的任务，都需要大量的标注数据
  • 将表达能力更强的模型（预训练阶段要求用大模型）在比较窄的数据（微调阶段是在narrow数据分布上进行的）上训练是不合理的。大模型的效果并不能泛化到OOD数据上
  • 人类在接触一个下游任务时不需要大量的训练样本，只需要对任务的描述或者几个例子就可以。我们希望NLP模型也能有这种多任务之间无缝衔接的能力

解决上述问题可行的方案：

  • meta-learning：模型在预训练阶段就学到了一系列方法，具备一系列能力。在预测阶段，我们利用这种能力来快速适配到下游任务中。

    • 已经有人通过in-context learning这样做过了，但是效果不好

    在这里插入图片描述

  • LLM: Transformer语言模型参数的每一次增大都会让文本理解能力和其他的NLP下游任务的性能得到提升，而且有证据显示，log损失函数，在模型规模增大后，保持平稳趋势。我们认为：in-context learning的能力也会随着模型参数的增大而增强

我们训练了一个175B的模型GPT-3，在3种设定下测试GPT-3的性能：

  • few-shot learning(in-context learning): 允许一些样例（一般10到100个）出现在模型输入中
  • one-shot learning: 只允许一个样例
  • zero-shot learning: 不允许提供样例，只提供一个自然语言形式的指令

下图展示了在移除单词中多余符号任务上，模型的表现

在这里插入图片描述

  • GPT-3在zero-shot和one-shot设置下能取得不错的结果，在few-shot设定下有时能比得上甚至超过微调的SOTA模型
  • zero-shot和one-shot设置的GPT-3能在快速适应和即时推理任务（单词整理、代数运算和利用只出现过一次的单词）中拥有卓越表现。
  • few-shot设定下，GPT-3能生成人类难以区分的新闻稿
  • few-shot设定下，GPT-3在一些自然语言推理任务(ANLI dataset)，阅读理解(RACE, QuAC)上的性能有待提高
  • 不同benchmark上的整体表现如下图所示

在这里插入图片描述

我们还训练了一些小模型（从125 million到13 billion），用于与GPT-3对比。对于大多数任务，在3种设定下，模型性能随大小相对平滑地增加。但是随着模型容量增大，few-shot相较于one，zero-shot的领先幅度变得更大，这说明大模型可能更适合作为meta-learners(larger models are more proficient meta-learners)。

Approach

本文的预训练方式GPT-2类似，只不过用了更大的模型，数据量，多样性以及训练时长，in-context learning的方式也相似。不过本文系统分析了不同设置对利用上下文学习的影响，这些设置可以看作对任务相关数据的依赖程度。

  • Fine-tuning：本文并没有训练GPT-3的微调版本，因为主要关注的是task-agnostic性能
  • Few-shot：在预测阶段提供一些样本，但并不进行参数更新。样本的数量是10到100（window size内可容纳的样本数目）
  • One-shot：仅提供一个样本
  • Zero-shot：不提供样本，只给一个用于描述任务的自然语言指令

下图是一个将英文翻译成法语任务的不同设定下的输入形式展示

在这里插入图片描述

本文的不同设定并不是为了相互比较，相互替代。而是在特定基准上，提供性能与采样效率之间权衡的不同问题设定。

Model and Architectures

模型结构，初始化方法，预归一化方法，tokenize方法与GPT-2相同，但在transformer中使用与Sparse Transformer中类似的注意力模式，不同模型参数设定如下表所示

在这里插入图片描述

  • 所有模型的上下文窗口大小都是2048个tokens

Training Dataset

Common Crawl dataset包含近万亿单词，遍历一遍数据集就足够训练我们最大的模型。

  • 然而，不进行数据清洗的数据集质量不高，采用以下三步清洗数据
    • 下载数据集的一个版本，根据与一系列高质量参考语料库的相似性过滤了掉部分语料
    • 在文档级别、数据集内部和数据集之间执行了模糊重复数据消除，以防止冗余，并保持我们的作为过拟合的准确度量的验证集的完整性。
    • 将已知的高质量参考语料库添加到训练组合中，以增强Common Crawl并增加其多样性

使用训练数据的比例入下表所示

在这里插入图片描述

  • 训练时数据不是按比列采样的，高质量的数据集会被采样更多次
  • CommonCrawl和Books2采样少于一次，其他数据集被采样2-3次

Training Process

  • 有研究表明，更大的模型通常用更大的batch size，但是需要更小的学习率。本文在训练中评估梯度噪音的大小来选择batch size

  • 利用矩阵乘法与网络不同层的并行性来进行分布式训练

  • 在V100上训练

Language Models are Few-Shot Learners
Young, Simple, Naive
10-16 1099
通过超大规模自回归语言模型实现 Few-shot Learning
大语言模型-GPT3-Language Models are Few-Shot Learners
weixin_42045968的博客
08-27 1334
## 一、背景信息： GPT3是于2020 年由OpenAI 发布的预训练语言模型。 GPT3在自然语言处理（NLP）任务中表现出色，可以生成连贯的文本、回答问题、进行对话等。 GPT3的网络架构继续沿用GPT1、GPT2的是多层Transformer Decoder改的结构。 GPT3出自Language Models are Few-Shot Learners，语言模型是Few-Shot学习者。
【GPT3】Language Models are Few-Shot Learners
Pain is inevitable but suffering is optional.
04-25 1806
在大规模文本语料上的预训练模型，然后在特定任务上微调后的NLP任务已经取得了长足的进步。然而针对任务无关的的模型结构，这种方法仍然需要在特定任务的成千上万的数据集上微调。对比来看，人类仅从少部分样本或简单的命令上，就可以学习新的语言任务。这里，我们极大程度地扩展语言模型，进而提高在通用任务、小样本上的性能，甚至可以比拟之前经过微调后的sota模型性能。具体地，我们训练了GPT-3的自回归语言模型，由1750亿个参数组成，10倍于之前的非稀疏语言模型。针对所有任务，GPT-3不用梯度更新或微调。...
GPT-3《Language Models are Few-Shot Learners》
m0_62872253的博客
06-21 1714
GPT-3论文笔记
【ChatGPT 翻译】Language Models are Few-Shot Learners
uglyghost123的博客
02-17 936
最近的研究表明，通过在大型语料库上进行预训练，然后在特定任务上进行微调，可以在许多NLP任务和基准测试中取得实质性的收益。尽管在体系结构上通常是任务不可知的，但是这种方法仍然需要数千或数万个示例的特定任务微调数据集。相比之下，人类通常可以仅仅通过几个示例或简单的指令来执行新的语言任务，而当前的NLP系统仍然在很大程度上难以做到这一点。在这里，我们展示了放大语言模型可以大大提高任务不可知的少量示例性能，有时甚至达到了先前最先进的微调方法的竞争力。
GPT—3：Language Models are Few-Shot Learners——语言模型是少样本学习者
Together_CZ的博客
01-04 2405
GPT—3：Language Models are Few-Shot Learners——语言模型是少样本学习者
gpt3-Language-Models-are-Few-Shot-Learners.pdf
06-04
Language Models are Few-Shot Learners 本篇论文介绍了大型语言模型 GPT-3 在少样本学习（few-shot learning）任务中的出色表现。实验表明，GPT-3 能够在无需fine-tuning的情况下，仅通过少量示例或简单的指令，就...
2005.14165.pdf Language Models are Few-shot Learners
02-23
GPT-3在少数样本学习（few-shot learning）设置下展示出了良好的性能，甚至在某些任务上可以与先前的最优微调方法相媲美。 2. 少数样本学习（few-shot learning）： 少数样本学习是指使用极少的样本就能完成学习...
人工智能论文GPT-3（2）：2020.5 Language Models are Few-Shot Learners；微调；少样本Few-Shot (FS)
Ankie资深技术项目经理
04-20 1680
GPT-3论文标题明确指出：“Language Models are Few-Shot Learners”，这揭示了GPT-3模型采用了少样本（few-shot）学习模式，而非传统的微调模式。GPT-3致力于实现通用人工智能的目标，因此它选择了少样本模式进行推理，而不是仅仅通过微调来应试。在少样本模式下，模型接收任务的几个演示作为条件输入，但不进行权重更新，从而保持其通用性和灵活性。 然而，少样本模式也存在一些局限性。相比于微调模式，它在应对特定任务时的应试能力可能稍逊一筹。这是因为微调模式允许模型针对特
人工智能论文GPT-3（1）：2020.5 Language Models are Few-Shot Learners；摘要；引言；scaling-law
Ankie资深技术项目经理
04-19 1687
1，2019年2月，OpenAI推出了GPT-2，仅仅时隔一年三个月，即2020年5月，他们又发布了GPT-3，这一创新成果正式点燃了整个AI行业的热情。先前的GPT-2、Bert等模型虽然在专业领域的应试得分尚算不错，但它们的通用能力却相对有限，可以说是较为“智障”。然而，GPT-3的出现彻底改变了这一局面，它具备了与人类进行基本自然语言理解的能力。 2，GPT-3的模型跟GPT-2一样，其核心在于训练参数的显著提升。GPT-2拥有1.5B的训练参数，而GPT-3则高达175B，整体提升幅度超过100倍
【论文笔记】Language Models are Few-Shot Learners A部分
m0_48948682的博客
03-06 1862
GPT-3 技术报告。
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
文献阅读：Language Models are Few-Shot Learners
codename_cys的博客
02-05 1403
文献阅读：Language Models are Few-Shot Learners
论文翻译 | Language Models are Few-Shot Learners 语言模型是少样本学习者（上）
m0_49651195的博客
10-03 1899
最近的工作表明，通过在大规模文本语料库上进行预训练，然后在特定任务上进行微调，许多自然语言处理（NLP）任务和基准测试都取得了显著的提升。尽管这种方法在架构上通常是任务无关的，但它仍然需要成千上万个示例的任务特定微调数据集。相比之下，人类通常只需要几个示例或简单的指令就能完成新的语言任务——这是当前NLP系统仍然在很大程度上难以做到的。在这里，我们展示了扩大语言模型规模可以极大地提高任务无关的少样本性能，有时甚至能与之前的最佳微调方法相媲美。
GPT 3.0：Language Models are Few-Shot Learners（2020-5-28）
weixin_49346755的博客
10-12 1361
迁移学习是一种在自然语言处理中强大的技术，模型首先要针对数据丰富的任务进行预训练，然后再针对下游任务进行微调。，并在数十种语言理解任务研究比较了预训练目标，架构，未标记的数据集，迁移方法和其他因素。结合实验所得以及 C4 数据集，在许多基准上获得了最新的结果，这些基准涵盖了摘要，问题回答，文本分类等等。GPT-3是具有1750亿参数的自回归语言模型，这比以前的任何非稀疏语言模型大10倍，并在少样本学习的设置下测试其性能。
论文笔记--Language Models are Few-Shot Learners
weixin_38124427的博客
05-02 1782
GPT-3文章精读：从Zero-Shot到Few-Shot
论文阅读：Language Models are Few-Shot Learners（巨无霸OpenAI GPT3 2020）
胭脂草的ABC博客
01-09 670
最近的工作表明，通过对大量文本进行预训练，然后对特定任务进行微调，在许多NLP任务和基准方面取得了实质性进展。虽然这种方法在体系结构中通常是任务无关的，但它仍然需要数千或上万个示例的特定于任务的微调数据集。相比之下，人类通常只能通过几个例子或简单的指令来执行一项新的语言任务，而当前的NLP系统在很大程度上仍难以做到这一点。在这里，论文展示了扩展语言模型可以极大地提高任务无关性、few-shot性能，有时甚至可以与以前最先进的微调方法相媲美。
(GPT3)Language Models are Few-Shot Learners论文阅读
Harry的博客
05-13 1958
最近的工作表明，通过对大量文本语料库进行预训练，然后对特定任务进行微调，许多 NLP 任务和基准测试取得了实质性进展。虽然在体系结构中通常与任务无关，但此方法仍然需要特定于任务的微调数据集，其中包含数千或数万个示例。相比之下，人类通常只能通过几个例子或简单的指令来执行一项新的语言任务——这是当前的 NLP 系统在很大程度上仍然难以做到的。在这里，我们展示了扩大语言模型极大地提高了与任务无关的、少样本(few-shot)的性能，有时甚至可以与先前最先进的微调方法竞争。
论文翻译 | Language Models are Few-Shot Learners 语言模型是少样本学习者（下）
最新发布
03-20
### 关于论文 'Language Models are Few-Shot Learners' 下半部分的翻译与解析 #### 2.4 评估 在这一章节中，作者详细探讨了如何对大规模语言模型（如 GPT-3）进行性能评估。具体而言，该章节讨论了几种不同的配置及其对应的实验设计。 1. **Zero-shot、One-shot 和 Few-shot 设置** 论文定义了三种主要的评估场景：zero-shot、one-shot 和 few-shot。这些设置分别对应于模型在没有任何额外示例、一个示例或少量示例的情况下完成任务的能力[^3]。这种设定允许研究人员分析模型在未见过的任务中的泛化能力，同时也揭示了其内在的知识存储方式。 2. **实验设计** 实验涵盖了多种自然语言处理任务，包括但不限于问答、文本补全、分类和逻辑推理等。对于每种任务，作者提供了详细的提示模板，并确保所有任务描述、示例和提示的具体措辞均记录在附录 G 中。这种方法不仅提高了实验的可重复性，还使得结果更具可信度。 3. **模型表现分析** 结果表明，在某些情况下，GPT-3 即使是在 zero-shot 或 one-shot 场景下的表现也能媲美甚至超越经过 fine-tuning 的专用模型[^1]。这进一步证明了超大语言模型具备强大的上下文学习能力和潜在的通用性。 4. **技术实现细节** 在实际训练过程中，为了应对计算资源的挑战，作者采用了模型并行性和分布式训练策略。此外，他们通过监控梯度噪声尺度动态调整批量大小和学习率，从而优化了训练效率[^4]。所有的训练过程和技术细节都被详尽地记录在附录 B 中。 以下是代码片段的一个简化版本，用于演示如何加载预训练的语言模型： ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("gpt3-model-name") model = AutoModelForCausalLM.from_pretrained("gpt3-model-name") def generate_text(prompt, max_length=50): inputs = tokenizer.encode(prompt, return_tensors="pt") outputs = model.generate(inputs, max_length=max_length) text = tokenizer.decode(outputs[0], skip_special_tokens=True) return text ``` --- #### 解读与总结 通过对这篇论文下半部分内容的研究可以看出，GPT-3 不仅是一个强大的生成工具，更是一种全新的范式转变。它展示了无需大量标注数据即可解决复杂任务的可能性，为未来的 NLP 应用开辟了新的方向。然而，尽管取得了显著进展，仍需注意的是，few-shot learning 是否真正代表了一种新型的认知机制仍有待验证[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

长命百岁️

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值