Towards Incremental Learning in Large Language Models: A Critical Review

本文是LLM系列文章，针对《Towards Incremental Learning in Large Language Models: A Critical Review》的翻译。

摘要

增量学习是系统随着时间的推移获得知识的能力，使其能够适应和概括新任务。它是智能现实世界系统的关键能力，尤其是在数据频繁变化或有限的情况下。这篇综述对大型语言模型中的增量学习进行了全面的分析。它综合了最先进的增量学习范式，包括持续学习、元学习、参数有效学习和专家混合学习。我们通过描述这些相关主题的具体成就及其关键因素，展示了它们在增量学习中的效用。一个重要的发现是，这些方法中的许多都不会更新核心模型，也没有一种是实时增量更新的。本文强调了该领域当前的问题和未来研究的挑战。通过整合最新的相关研究进展，本综述全面了解了增量学习及其对设计和开发基于LLM的学习系统的影响。

1 引言

2 相关工作

3 主要发现

4 结论

在开发专门的基于LLM的系统以解决特定问题方面取得了重大进展。然而，跨多个任务的通用性和适应性的目标仍然是一个悬而未决的问题。
凭借其弥合这一差距的潜力，IL有望使算法能够随着时间的推移获得新知识，从有限的数据中学习，跨任务转移知识，并有效地适应新的领域。<