TransformerFAM: Feedback attention is working memory

本文是LLM系列文章，针对《TransformerFAM: Feedback attention is working memory》的翻译。

摘要

虽然Transformer彻底改变了深度学习，但它们的二次注意力复杂性阻碍了它们处理无限长输入的能力。我们提出了反馈注意力记忆（FAM），这是一种新型的Transformer架构，它利用反馈回路使网络能够处理自己的潜在表示。这种设计促进了Transformer中工作记忆的出现，使其能够处理无限长的序列。TransformerFAM不需要额外的权重，可以与预训练的模型无缝集成。我们的实验表明，TransformerFAM显著提高了Transformer在各种模型大小（1B、8B和24B）的长上下文任务上的性能。这些结果展示了增强大型语言模型（LLM）处理无限长度序列的潜力。

1 引言

2 TransformerFAM

3 实验

4 相关工作

5 结论

在电影《记忆碎片》（2000）中，主角与顺行性失忆症作斗争，这意味着他无法记住过去10分钟内发生的任何事情，但他的