驯龙高手：Komodo如何教会AI“过目不忘”，开启256K长文本时代

在人工智能的世界里，长久以来存在着一条难以驯服的“巨龙”——它名为“遗忘”。当模型面对浩如烟海的信息时，总会显得力不从心，记住了开头，却忘了结尾。如今，一群来自AI21 Labs的“驯龙高手”，带来了一头名为Komodo的“神兽”。它不仅拥有惊人的记忆力，更可能将彻底改变我们与机器交互的未来。

想象一下，你正在阅读一部鸿篇巨制，比如托尔斯泰的《战争与和平》。当你沉浸在第十二章的精彩情节时，是否还能清晰记得第一章中某个不起眼角色的名字，或是他当时不经意间说的一句话？对大多数人来说，这极其困难。我们的大脑虽然强大，但工作记忆的容量是有限的，我们需要依赖笔记、书签或者反复回顾来记住长篇信息。

在很长一段时间里，大型语言模型（LLM）也面临着同样的困扰，甚至更为严重。它们就像一个虽然博学但记忆力极差的天才，只能记住最近听到的几句话。这个限制被称为“上下文窗口”（Context Window）。传统的AI模型，其上下文窗口可能只有几千个“词元”（token）——大致相当于几页纸的内容。一旦信息超出了这个窗口，它就会像掉入黑洞一样，被模型彻底遗忘。

注解：什么是“词元”（Token）？
在自然语言处理中，文本在被AI处理前，会先被分解成更小的单元，这些单元就是“词元”。一个词元可以是一个单词、一个词根，甚至是一个标点符号。例如，“大型语言模型”这句话可能会被分解成“大”、“型”、“语言”、“模型”等词元。一个模型的上下文窗口大小，就是它能一次性处理的词元数量上限。256k词元，大致相当于一本500页厚度的书。

这种“失忆症”极大地限制了AI的应用潜力。我们无法让它通读并理解一份完整的公司