【大模型基础】一文读懂参数高效微调：原理与应用

大语言模型虽知识丰富，但在垂直领域适配性不足，仅靠提示工程难以解决，需通过微调参数来提升适配性。然而，大语言模型参数量巨大，微调成本高，限制了其在垂直领域的应用。因此，实现效果可靠、成本可控的参数高效微调技术成为关键。

下面探讨主流的参数高效微调技术：参数附加方法、参数选择方法和低秩适配方法的代表性算法实现与优势。

1 、参数高效微调简介

大语言模型在垂直领域适配时，上下文学习和指令微调虽是有效途径但存在不足。为此，参数高效微调（Parameter Efficient Fine Tuning, PEFT）技术出现。

本节先回顾前两者并分析其局限，再介绍PEFT概念及优势，最后分类讲解主流PEFT方法，包括参数附加、选择和低秩适配，阐述其原理和代表性工作。

1.1 下游任务适配

为提高大语言模型在垂直和细分领域的性能，需进行下游任务适配，主流方法有：

• 上下文学习（In-context learning）
• 指令微调（Instruction Tuning）

1）上下文学习（In-context learning）

上下文学习通过设计Prompt，将任务转化为生成任务，驱动模型完成任务。

小样本上下文学习（Few-shotin-contextlearning）：

• 将样本-标签对转化为自然语言指令（Instruction）和样例（Demonstrations），
• 拼接测试样本输入模型，输出作为预测结果。
• 该方法无需更新模型参数，可快速应用于多种任务。

上下文学习虽能有效利用大语言模型的能力，但存在明显缺点：

• 性能与微调有差距，Prompt设计耗费人力且不同设计导致性能差异大，
• 推理代价随Prompt样例增多而快速上升。

因此，微调大语言模型在许多场景和垂直领域仍有必要。

2）指令微调（Instruction Tuning）

指令微调（Instruction Tuning）通过构建指令数据集并在其上进行监督微调，使模型更好地理解和执行自然语言处理任务指令。其过程如下：

• 指令数据构建：指令数据包含指令、示例（可选）、问题和回答，构造方式有：
  1）数据集成，即将带标签的自然语言数据集通过模板转换为指令格式的<输入，输出>对，如Flan和P3数据集；
  2）大语言模型生成，即人工收集少量指令数据后，使用大语言模型进行指令扩展，如InstructWild和Self-Instruct数据集。
• 监督微调：构建数据集后，采用完全监督的方式对预训练模型进行微调，通过顺序预测输出中的每个token来训练模型，从而显著提升模型的指令遵循能力，增强其推理水平和泛化到新任务、新领域的能力。

指令微调虽能提升大语言模型在下游任务的性能，但监督微调需大量计算资源。如LLaMA2-7B全量微调需近60GB内存，消费级GPU（如RTX4090）无法胜任。因此，在资源受限环境下，研究参数高效微调技术至关重要。

1.2 参数高效微调

参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）旨在避免微调全部参数，减少在微调过程中需要更新的参数数量和计算开销，从而提高微调大语言模型的效率。

图4.2: 高效参数微调方法分类学。

以下是三种参数高效微调方法的精简总结：

1. 参数附加方法（Additional Parameters Methods）：在模型结构中附加较小的可训练模块（如适配器层），冻结原始参数，仅微调新模块，典型方法有适配器微调（Adapter-tuning）、提示微调（Prompt-tuning）、前缀微调（Prefix-tuning）和代理微调（Proxy-tuning）等。
2. 参数选择方法（Parameter Selection Methods）：仅选择模型部分参数微调，冻结其余参数，利用部分参数对下游任务的决定性作用，典型方法包括BitFit、Child-tuning和FishMask等。
3. 低秩适配方法（Low-rank Adaptation Methods）：通过低秩矩阵近似原始权重更新矩阵，冻结原始参数，仅微调低秩更新矩阵，大幅节省内存开销，经典方法有LoRA及其变体如AdaLoRA、DyLoRA和DoRA等。

三种参数高效微调（PEFT）方法：

• 参数附加方法（Additional Parameters Methods）：在模型结构中附加较小的可训练模块（如适配器层），冻结原始参数，仅微调新模块，典型方法有适配器微调（Adapter-tuning）、提示微调（Prompt-tuning）、前缀微调（Prefix-tuning）和代理微调（Proxy-tuning）等。
• 参数选择方法（Parameter Selection Methods）：仅选择模型部分参数微调，冻结其余参数，利用部分参数对下游任务的决定性作用，典型方法包括BitFit、Child-tuning和FishMask等。
• 低秩适配方法（Low-rank Adaptation Methods）：通过低秩矩阵近似原始权重更新矩阵，冻结原始参数，仅微调低秩更新矩阵，大幅节省内存开销，经典方法有LoRA及其变体如AdaLoRA、DyLoRA和DoRA等。

1.3 参数高效微调的优势

参数高效微调（PEFT）有以下优势：

• 计算效率高：减少需更新参数数量，降低训练时计算资源消耗。
• 存储效率高：减少微调参数数量，显著降低模型存储空间，适用于内存受限设备。
• 适应性强：可快速适应不同任务，无需重新训练整个模型，提升模型在变化环境中的灵活性。

表4.1: 全量参数微调和参数高效微调显存占用对比（OOM代表超出内存限制）

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！