Can Large Language Models do Analytical Reasoning?

本文是LLM系列文章，针对《Can Large Language Models do Analytical Reasoning?》的翻译。

摘要

本文以体育分析推理为切入点，探讨了最前沿的大型语言模型。我们的分析推理体现了让大型语言模型计算NBA和NFL比赛中每支球队在一个季度内得分的任务。我们的重大发现有两个方面。首先，我们发现在我们使用的所有模型中，GPT-4的有效性突出，其次是Claude-2.1，GPT-3.5、Gemini Pro和Llama-2-70b落后。具体来说，我们比较了三种不同的提示技术和分而治之的方法，发现后者是最有效的。我们的分而治之方法将逐场数据分解为更小、更易于管理的部分，单独解决每个部分，然后将它们聚合在一起。除了分而治之的方法，我们还探索了思想链（CoT）策略，该策略显著改善了某些模型的结果，尤其是GPT-4和Claude-2.1，其准确率显著提高。然而，CoT策略对GPT-3.5和Gemini Pro等其他模型的性能影响可以忽略不计，甚至是有害的。其次，令我们惊讶的是，我们观察到，包括GPT-4在内的大多数模型，尽管在计算NFL季度得分方面表现强劲，但仍难以准确计算NBA季度的总得分。这使我们能够通过广泛的实验进一步研究影响分析推理任务复杂性的因素，通过实验我们得出结论，任务复杂性取决于上下文的