人工智能论文GPT-3（2）：2020.5 Language Models are Few-Shot Learners；微调；少样本Few-Shot (FS)

2 方法Approach

我们的基本预训练方法，包括模型、数据和训练，与GPT-2中描述的过程相似，只是模型规模、数据集规模和多样性，以及训练时长有所扩大，相对简单直接。

我们使用的上下文学习也与GPT-2相似，但在这项工作中，我们系统地探索了不同上下文学习设置。

因此，我们首先明确定义并对比我们将评估GPT-3的不同设置，或者原则上可以评估GPT-3的设置。

这些设置可以被看作是一个谱系，它们依赖任务特定数据的程度各不相同。具体来说，我们可以在这个谱系上至少识别出四个点（如图2.1所示）：

微调Fine-Tuning （FT）

微调（FT）是近年来最常见的方法，涉及在针对所需任务的监督数据集上训练，以更新预训练模型的权重。通常使用数千到数十万个带标签的示例。

微调的主要优势是在许多基准测试上表现出色。

主要缺点是每个任务都需要一个新的大型数据集，可能导致分布外泛化性能不佳[MPL19]，以及可能利用训练数据的虚假特征[GSL+18, NK19]，

这可能导致与人类性能的比较不公平。在这项工作中，我们没有对GPT-3进行微调，因为我们的重点是任务无关的性能，但原则上可以对GPT-3进行微调，这是未来工作的一个有前景的方向。