CONCEPTEDIT: Conceptualization-Augmented Knowledge Editing in Large Language Models

本文是LLM系列文章，针对《CONCEPTEDIT: Conceptualization-Augmented Knowledge Editing in Large Language Models for Commonsense Reasoning》的翻译。

摘要

知识编辑（KE）旨在调整大型语言模型（LLM）的内部表示和参数，以纠正不准确之处并提高输出一致性，而不会产生重新训练整个模型的计算费用。然而，编辑常识知识仍然面临困难，包括现有资源中的知识覆盖范围有限，为过多的常识知识标注标签的不可行性，以及当前编辑方法的严格知识格式。在本文中，我们通过提出CONCEPTEDIT来应对这些挑战，CONCEPTEDT是一个框架，它将概念化和实例化集成到LLM的KE管道中，以增强其常识推理能力。CONCEPDIT使用另一个验证器LLM动态诊断LLM中不可信的常识知识，并通过概念化来增强要编辑的源知识，以获得更强的泛化能力。实验结果表明，与其他基线相比，使用CONCEPTEDIT增强的LLM成功生成了可信度更高的常识知识，并在多个问答基准测试中实现了更强的性能。

1 引言

2 相关工作

3 CONCEPTEDIT框架