Learning to Check: Unleashing Potentials for Self-Correction in Large Language Models

本文是LLM系列文章，针对《Learning to Check: Unleashing Potentials for Self-Correction in Large Language Models》的翻译。

摘要

大型语言模型（LLM）在推理能力方面取得了重大进展，正在努力通过自我纠正来完善其推理。然而，最近的研究表明，如果没有外部准确的知识，自我纠正可能会受到限制，甚至适得其反，这引发了人们对自我纠正的局限性和有效性的质疑。在本文中，我们旨在通过精心设计训练数据来增强LLM的自检能力，从而提高自校正的准确性。我们对数学推理中的错误类型进行了详细分析，并开发了一个定制的提示，称为“步骤CoT检查”。然后，我们为训练模型构建了一个校验校正数据集。在整合原始CoT数据和校验校正数据进行训练后，我们观察到模型可以提高其自检能力，从而增强其自校正能力，并消除了对外部反馈或基本事实标签的需求，以确定校正的终点。我们将使用“Step-CoT Check”提示微调的模型的性能与在检查校正数据的上下文中使用其他提示优化的模型进行比较。在参数较大的模型中，“阶跃CoT检查”优于其他两种检查格式，提供了更精确的反馈，从而实现了更高的正确率。为了再现性，所有数据集和代码都在中提供http