论文翻译：AAAI-2024.Li C.CCF-A.Task Contamination: Language Models May Not Be Few-Shot Anymore

https://ojs.aaai.org/index.php/AAAI/article/view/29808

Task Contamination: Language Models May Not Be Few-Shot Anymore

论文主要研究了任务污染对LLMs在零样本和少样本任务中性能评估的影响。

任务污染：语言模型可能不再是少量样本学习者

摘要

大型语言模型（LLM）在各种零样本和少量样本任务中表现出令人印象深刻的性能。然而，它们在零样本或少量样本设置中的成功可能会受到任务污染的影响，这是一个尚未得到充分检验的潜在限制。本文调查了LLM在零样本和少量样本性能如何随着时间的推移而变化，以及随着时间的推移而发布的数据集和LLM的变化。利用GPT-3系列模型和其他几个最近开源的LLM，控制数据集难度，我们发现在LLM训练数据创建日期之前发布的数据集的表现比在LLM训练数据创建日期之后发布的数据集要好得多。这强烈表明，对于许多LLM来说，对于LLM训练数据创建日期之前的数据集存在任务污染。此外，我们利用训练数据检查、训练数据提取和成员推断攻击，揭示了任务污染的进一步证据。重要的是，我们发现对于没有任务污染可能性的任务，LLM很少在零样本和少量样本设置中显示出比简单多数基线统计上显著的改进。

Large language models (LLMs)