Meta：通过推理创建LLM高质量数据

📖标题：CoT-Self-Instruct: Building high-quality synthetic prompts for reasoning and non-reasoning tasks
🌐来源：arXiv, 2507.23751

🌟摘要

我们提出了 CoT-Self-Instruct，这是一种合成数据生成方法，指示 LLM 首先根据给定的种子任务通过 Chain-of-Thought (CoT) 进行推理和计划，然后生成一个新的合成提示，用于 LLM 训练，然后使用自动指标过滤高质量的数据。在可验证的推理中，我们的合成数据显着优于现有的训练数据集，例如 s1k 和 OpenMathReasoning，跨越 MATH500、AMC23、AIME24 和 GPQA-Diamond。对于不可验证的指令跟踪任务，我们的方法在 AlpacaEval 2.0 和 Arena-Hard 上都超过了人类或标准自构造提示的性能。

🛎️文章简介

🔸研究问题：如何生成高质量的合成数据以提升大语言模型（LLM）在推理和非推理任务中的表现？
🔸主要贡献：论文提出了一种新颖的CoT-Self-Instruct方法，通过推理创建高质量合成提示，并对生成的数据进行自我过滤。

📝重点思路

🔸利用小规模的高质量人工标注种子数据，使用CoT方法逐步推理生成新的合成指令。
🔸对于可验证推理任务，采用Answer-Consistency方法过滤数据，确保生成的合成答案与大多数模型输出一致。
🔸对非可验证任务，使用Rejecting Instruction Preferences (RIP)方法，根据评分模型对生成的响应进行评估并进行筛选。
🔸进行自我训练，通过强化学习（RL）训练使用合成数据生成的新指令，增强模型的推理能力。

🔎分析总结

🔸实验表明，使用CoT-Self-Instruct生成的合成指令在多个基准任务上表现优于Self-Instruct和现有的数据集。
🔸实施Answer-Consistency过滤后，合成数据在可验证推理任务中的平均准确率从53.0%提升至58.7%。
🔸对于非可验证任务，采用RIP过滤后，合成指令的性能从53.9%提升至54.7%，同时超越了基于人类标注的提示。
🔸整体而言，该方法在生成的合成数据上展现出更高的质量，从而提升了模型的整体性能。

💡个人观点

论文的创新点在于结合推理过程生成合成数据，通过有效的过滤机制提高了数据的质量。

🧩附录