Towards Incremental Learning in Large Language Models: A Critical Review

最新推荐文章于 2025-07-02 14:33:43 发布
最新推荐文章于 2025-07-02 14:33:43 发布
阅读量415 收藏
点赞数 18
CC 4.0 BY-SA版权
分类专栏： LLM Daily Survey Paper 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/140103365

本文是LLM系列文章，针对《Towards Incremental Learning in Large Language Models: A Critical Review》的翻译。

大型语言模型中的增量学习：批判性评论

摘要

增量学习是系统随着时间的推移获得知识的能力，使其能够适应和概括新任务。它是智能现实世界系统的关键能力，尤其是在数据频繁变化或有限的情况下。这篇综述对大型语言模型中的增量学习进行了全面的分析。它综合了最先进的增量学习范式，包括持续学习、元学习、参数有效学习和专家混合学习。我们通过描述这些相关主题的具体成就及其关键因素，展示了它们在增量学习中的效用。一个重要的发现是，这些方法中的许多都不会更新核心模型，也没有一种是实时增量更新的。本文强调了该领域当前的问题和未来研究的挑战。通过整合最新的相关研究进展，本综述全面了解了增量学习及其对设计和开发基于LLM的学习系统的影响。

1 引言

2 相关工作

3 主要发现

4 结论

在开发专门的基于LLM的系统以解决特定问题方面取得了重大进展。然而，跨多个任务的通用性和适应性的目标仍然是一个悬而未决的问题。
凭借其弥合这一差距的潜力，IL有望使算法能够随着时间的推移获得新知识，从有限的数据中学习，跨任务转移知识，并有效地适应新的领域

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Direct Preference Knowledge Distillation for Large Language Models
c_cpp_csharp的专栏
09-14 230
在大型语言模型 （LLM） 领域，知识蒸馏 （KD） 是将功能从教师模型迁移到学生模型的关键技术。然而，现有的 KD 方法在蒸馏 LLM 方面面临局限性和挑战，包括效率和传统 KL 散度测量能力不足。结果表明，LLM 可以作为隐式奖励函数，我们将其定义为 KL 分歧的补充。在这项工作中，我们提出了 LLM 的直接偏好知识蒸馏 （DPKD）。我们将 LLM 的 KD 重新表述为两个阶段：首先优化和目标，包括隐性奖励和反向 KL 发散，然后提高教师产出对学生产出的偏好概率。
Large Language Models are Learnable Planners for Long-Term Recommendation
c_cpp_csharp的专栏
06-18 216
在建议中，对眼前和长期利益进行规划变得越来越重要。现有的方法通过最大化长期推荐的累积奖励来应用强化学习（RL）来学习规划能力。然而，当从头开始训练RL模型时，推荐数据的稀缺性带来了挑战，如不稳定性和过拟合的易感性，导致性能次优。有鉴于此，我们建议利用大型语言模型（LLM）在稀疏数据上的卓越规划能力进行长期推荐。实现这一目标的关键在于制定一项指导计划，遵循加强长期参与的原则，并以个性化的方式将该计划建立在有效和可执行的行动基础上。
Knowledge Editing for Large Language Models: A Survey
qq_53795212的博客
07-25 1150
在本文中，我们将将要注入 LLMs 的知识表示为知识三元组 t = (s,r,o)，其中 s 是主题（例如美国总统），r 是关系（例如是），o 是对象（例如拜登）。从知识三元组的角度来看，针对 LLMs 的 KME 的目标是将模型预训练权重中编码的原始知识三元组 t = (s, r, o) 修改为目标知识三元组 t∗ = (s, r, o∗)，其中 o∗ 是与 o 不同的目标对象。
LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-05 6782
​ LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API+六类语料库+三种框架库) LLMs：大型语言模型发展综述—序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API
Meta-Learning in Neural Networks: A Survey元学习最新综述（翻译）
qq_38680752的博客
06-02 1万+
近年来，元学习领域，即“为学习而学习”，已经引起了人们极大的兴趣。与传统的人工智能方法不同，传统的人工智能方法是使用固定的学习算法从头开始解决给定的任务，元学习的目的是改进学习算法本身，考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战，包括数据和计算瓶颈，以及泛化的基本问题。在这项调查中，我们描述了当代元学习的景观。我们首先讨论元学习的定义，并将其定位于相关领域，如转移学习、多任务学习和超参数优化。然后我们提出了一种新的分类方法，它提供了当今元学习方法的更全面的细分。我们综述了元学习
Machine Learning for Computer Systems and Networking:A Survey ---综述阅读 对于计算机系统和网络的机器学习
weixin_40293999的博客
03-26 2852
机器学习已经成了计算机视觉和自然语言处理等多个学科领域的主要方法.尽管最近取得了一些突破,机器学习仅仅在计算机视觉和网络领域进入了基本挑战.本文尝试阐明最近的尝试用ml解决计算机系统和网络的传统问题的文献.为了这一目标,我们首先介绍了一套研究问题领域的方法学,然后我们对每个领域进行了综合的回顾,并对这些领域进行了传统方法和ML方法的比较.最后,我们讨论了对计算机系统和网络的机器学习方法限制,的包括:训练数据不足,过拟合,实时性能,可解释性,并针对这些不足揭示出未来发展的方向.最接近我们工作的是[174]。
测试内容-A Comprehensive Survey on Retrieval-Augmented Large Language Models: Architectures, Application
yanqianglifei的专栏
05-15 646
Retrieval-Augmented Generation (RAG) has emerged as a transformative paradigm in natural language processing (NLP), addressing critical limitations of Large Language Models (LLMs) such as hallucination, outdated knowledge, and non-transparent reasoning pro
LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-16 1885
​ LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和技术→数据集和基准→未来方向和挑战 目录 《Large Language Models A Survey大型语言模型的综述调查》翻译与解读 Abstract摘要 I. INTRODUCTION引言 II. LARGE LANGUAGE MODE
综述论文：图像标注中的BoW表示　Bag-of-Words Representation in Image Annotation: A Review
GarfieldEr007的专栏
01-08 5019
Chih-Fong Tsai Department of Information Management, National Central University, Jhongli 32001, Taiwan Received 26 August 2012; Accepted 19 September 2012 Academic Editors: F. Camastra, J. A
A Guide Resource for Deep Reinforcement Learning
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
12-24 896
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
项目管理: Agile实践方法与工具介绍
AI天才研究院
08-11 445
作者：禅与计算机程序设计艺术Project management (PM) refers to the process of planning and organizing projects that involve diverse stakeholders with varied roles and responsibilities. In this article, we will explore several agile methodologies and tools in project mana
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
强化学习：Policy Gradients 学习笔记
只是个人学习笔记
07-01 1154
Policy Gradient（基于 Softmax 的策略梯度算法）是强化学习中的经典策略梯度方法，通过直接优化策略函数来最大化累积奖励。
scrapy+django+pyecharts+mysql 实现西安游客行为分析系统大屏_用户画像_空间分析_路线智能推荐
2301_78696436的博客
06-28 592
项目地址。
网络空间测绘理论体系白皮书（2023年）04测绘体系框架应用实践
sinat_41942180的博客
06-30 1124
网络空间测绘不仅直接作用于网络空间中的数据资源，也会作用于物理空间的真实设备、社会空间的组织机构、认知空间的用户倾向等等。下面以重点域名评估为例。而从更通用的角度上看，在网络空间探测获取到探测对象的基础数据之后，一方面需要针对探测对象作进一步分析处理，把基础探测数据，逐步抽象到类别标签代表的信息、知识，深入回答探测对象是什么、怎么样的问题；网络空间测绘的知识图谱本体涉及 IP、域名、证书、设备、软件等 10 多个信息域实体，同时关联物理域的各粒度地理位置、社会域的各层级组织行业、认知域的多源安全事件等等。
从LangChain接入LLM到创建AI智能体
Theahe的博客
07-02 1144
LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它使得应用程序能够：具有上下文感知能力：将语言模型连接到上下文来源（提示指令，少量的示例，需要回应的内容等）具有推理能力：依赖语言模型进行推理（根据提供的上下文如何回答，采取什么行动等）llm=chat,#每次把之前的内容都做总结conversation_summary_memory.invoke({“input”:“你知道什么是抖音吗？”})
深度学习中常见激活函数总结
qq_45464126的博客
07-01 1016
激活函数（Activation Function）是神经网络中神经元的非线性变换函数，作用于神经元的加权输入（加权和）后，决定该神经元的输出。其数学形式通常为 ( a = f(z) )，其中 ( z = w^T x + b ) 是神经元的加权和（( w ) 为权重，( x ) 为输入，( b ) 为偏置）。核心意义：若没有激活函数（或仅用线性函数），无论多少层的神经网络都只能拟合线性关系，无法处理图像、文本等复杂非线性数据。激活函数是深度学习的核心组件，其选择需权衡非线性能力、梯度传播效率和任务特性。
警告：语音深度伪造技术持续升级，威胁加剧
最新发布
Ousito的博客
07-02 427
是易念科技基于中国用户场景，应用行为心理学的核心思想，自主研发的面向“人为因素风险”的网络安全意识教育管理平台。平台不仅提供了丰富的学习资源和工具，还通过创新的教育方法和手段，提升员工风险防范能力，在适当环境中激发理想的安全行为，评价和量化员工安全意识水平，赋能组织建立人员安全的全过程管理，提升风险管理水平。HumanRisk 平台提供公用云 SaaS 服务，并支持企业私有云部署，既可单独使用也可组合，提供线上线下结合的服务方案，全面满足各类企业、不同规模和成熟阶段的教育培训需求。
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
02-14
### DeepSeekMoE 实现极致专家专业化 在 Mixture-of-Experts (MoE) 语言模型中，DeepSeekMoE 致力于实现专家的极致专业化。为了达到这一目标，该研究引入了一种新颖的方法来处理专家之间的知识共享和隔离问题。 #### 共享专家隔离机制 分配给不同专家的 token 可能需要一些共同的知识，这可能导致多个专家在其参数中收敛于相同的共享知识，进而造成专家参数的冗余[^2]。为了避免这种冗余并提高参数效率，DeepSeekMoE 设计了一个特殊的共享专家子集。这些共享专家始终处于激活状态，负责捕捉和整合跨上下文的通用知识。因此，其他路由专家可以专注于更特定的任务，减少了重复学习的可能性，提升了整体模型性能和资源利用效率。 #### 极致专家专业化策略 除了上述提到的共享专家外，DeepSeekMoE 还采用了多种技术手段促进各领域内专家的专业化程度： - **动态调整门控网络**：通过优化门控函数的设计，使得每个输入样本能够被最合适的少数几个专家处理，而不是平均分布到所有可用专家上； - **自适应训练方案**：根据不同阶段的学习需求灵活改变损失权重以及正则项强度等因素； - **多任务联合训练框架**：鼓励各个专精方向上的专家不仅要在单一目标任务上有出色表现，在辅助任务方面也需具备一定能力，以此增强泛化性和鲁棒性。 ```python def dynamic_gating_network(input_tensor, expert_weights): """ 动态调整门控网络示例 参数: input_tensor: 输入张量 expert_weights: 各位专家对应的权值向量 返回: selected_experts_indices: 被选中的几位专家索引列表 """ scores = tf.matmul(input_tensor, expert_weights) top_k_values, top_k_indices = tf.nn.top_k(scores, k=3) return top_k_indices.numpy().tolist() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值