隐藏计算:Transformer语言模型中的暗箱操作

近年来,大型语言模型(LLM)的思维链(Chain-of-thought)推理方法在多数基准测试中都取得了显著的性能提升。然而,这种性能提升到底是源于人类式的任务分解,还是仅仅因为额外的token提供了更多的计算能力,目前仍不清楚。本文将深入探讨这个问题,揭示Transformer模型中存在的"隐藏计算"现象,并分析其对语言模型能力和可解释性的影响。

1. 引言

思维链推理是指语言模型在生成最终答案之前,先生成一系列中间推理步骤。这种方法相比直接生成答案,在多个基准测试上都取得了更好的表现(Wei et al., 2023; Suzgun et al., 2022; Lanham et al., 2023)。然而,最近的一些研究发现,思维链中的中间步骤往往与模型内部的实际推理过程并不一致(Lanham et al., 2023; Turpin et al., 2023)。

为了探究这种不一致性的极端情况,本文提出了"填充token"(filler token)的概念。如图1所示,填充token是指用任意重复的token(如"…")来替代思维链中的中间步骤。通过比较使用填充token和思维链时语言模型的表现,我们可以评估模型是否能够进行跨token的计算,而这种计算并不反映在可见的token中。

这项研究的重要性体现在以下几个方面:

1. 揭示语言模型的内部机制:通过研究填充token的作用,我们可以更好地理解Transforme