Editing Conceptual Knowledge for Large Language Models

本文是LLM系列文章，针对《Editing Conceptual Knowledge for Large Language Models》的翻译。

摘要

最近，人们对大型语言模型（LLM）的知识编辑越来越感兴趣。目前的方法和评估只是探索实例级的编辑，而LLM是否具有修改概念的能力仍不清楚。本文通过构建一个新的基准数据集ConceptEdit并建立一套新的评估指标，率先研究了LLM的概念知识编辑。实验结果表明，尽管现有的编辑方法可以在一定程度上有效地修改概念级定义，但它们也有可能扭曲LLM中的相关实例化知识，导致性能较差。我们预计，这将激励在更好地理解LLM方面取得进一步进展。

1 引言

2 背景

3 概念编辑

4 基准构造

5 实验

6 相关工作

7 结论

我们介绍了LLM的概念知识编辑任务，以及新的基准ConceptEdit和评估指标。从实验中，我们观察到，现有的编辑方法在修改概念知识时，对底层实例的影响非常有限；因此，LLM中更强大的技术和更好的概念理