SELF-DEMOS: Eliciting Out-of-Demonstration Generalizability in Large Language Models

本文是LLM系列文章，针对《SELF-DEMOS: Eliciting Out-of-Demonstration Generalizability
in Large Language Models》的翻译。

摘要

大型语言模型（LLM）已经显示出有前景的情境学习（ICL）能力，只需很少的演示即可快速适应新任务。然而，目前的小样本方法严重依赖于高质量的、特定于查询的演示，而这些演示往往缺乏。当面临演示外（OOD）查询时，依赖于手工演示或外部检索器的方法可能会失败。为了弥合有限演示和面向对象查询之间的差距，我们提出了SELF-demos，这是一种新的提示方法，通过查询感知演示生成来激发LLM中固有的泛化能力。生成的演示在现有演示和给定查询之间进行战略性插值，将查询从OOD转换为ID。为了评估我们方法的有效性，我们手动构建了OODToolset，这是一个工具使用场景中的数据集，有300多个真实世界的API和1000个实例，每个实例由三个工具用例作为演示和一个OOD查询组成。对我们的数据集和两个公共数学基准的彻底实验表明，我们的方法在面向对象设计设置中可以超越最先进的基线。此外，我们还进行了一系列分析，以验证SELF-DEMOS的泛化能力，并提供更多见解。

1 引言