【Hugging Face】PEFT 库中的 PrefixTuningConfig 常用参数和说明

在 Hugging Face 的 PEFT（Parameter-Efficient Fine-Tuning）库中，PrefixTuningConfig 是用于配置 Prefix Tuning 方法的类。Prefix Tuning 是一种参数高效的微调技术，通过为 Transformer 模型的每一层添加可训练的“前缀”向量（prefix vectors）来调整模型行为，而不修改原始模型权重。相比于 Prompt Tuning，Prefix Tuning 更深入地影响模型的内部表示，特别适合生成任务（如语言模型）。以下是对 PrefixTuningConfig 的详细讲解，包括其参数、用法、代码示例和注意事项。

1. PrefixTuningConfig 概述

Prefix Tuning 的核心思想是为 Transformer 的每一层（通常是注意力层）添加一组可训练的前缀向量，这些向量作为额外的上下文，影响键（key）和值（value）的计算。预训练模型的权重保持冻结，只训练前缀向量的参数。这种方法在生成任务（如文本生成、对话模型）中表现出色，因为它可以灵活地调整模型的生成行为。

Prefix Tuning 的优势：

• 高效性：参数量远少于全参数微调，仅训练前缀向量。
• 适用于生成任务：对因果语言模型（如 GPT）或序列到序列模型（如 T5）效果显著。
• 模块化：支持多任务切换，易于保存和加载前缀。
• 兼容性：与 Hugging Face 的 Transformers 模型无缝集成。

2. PrefixTuningConfig 的主要参数

以下是 PrefixTuningConfig 中常用的参数及其说明：

• peft_type（默认："PREFIX_TUNING"）

  • 指定 PEFT 方法类型，固定为 "PREFIX_TUNING"。
  • 通常无需手动设置，由类自动处理。

• task_type（可选，字符串）

  • 指定任务类型，帮助 PEFT 确定模型结构和用途。常见选项包括：
    • "CAUSAL_LM"：因果语言模型（如 GPT）。
    • "SEQ_2_SEQ_LM"：序列到序列模型（如 T5）。
    • "SEQ_CLS"：序列分类（较少用于 Prefix Tuning）。
  • 推荐明确指定，尤其是生成任务使用 "CAUSAL_LM" 或 "SEQ_2_SEQ_LM"。

• num_virtual_tokens（整数，默认：20）

  • 指定每个 Transformer 层添加的前缀 token 数量。
  • 典型值：10 到 100。更多的 token 增加表达能力，但也增加参数量。
  • 参数量计算：num_virtual_tokens * num_layers * embedding_dim * 2（因为前缀作用于 key 和 value）。

• prefix_projection（布尔值，默认：False）

  • 是否对前缀向量进行投影（通过 MLP 或线性层处理）。
  • 如果为 True，会引入额外的可训练参数（一个小型 MLP），增强表达能力，但增加参数量。
  • 如果为 False，直接使用前缀向量，参数量更少。

• num_layers（整数，可选）

  • 指定应用前缀的 Transformer 层数。
  • 默认：模型的所有层。如果指定较小的值（如 6），只对前几层应用前缀，减少参数量。

• modules_to_save（列表，可选）

  • 指定需要全量微调的模块（不使用 Prefix Tuning）。例如，分类头或语言模型头可以放入此列表。
  • 示例：["lm_head"]。

• dropout_prob（浮点数，默认：0.1）

  • 前缀向量的 Dropout 概率，用于正则化。
  • 典型值：0.0 到 0.5。

3. 使用 PrefixTuningConfig 的基本流程

以下是一个使用 PrefixTuningConfig 微调 GPT-2 模型（用于因果语言建模任务）的完整示例：

步骤 1：安装和导入库

pip install peft transformers torch datasets

from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments
from peft import PrefixTuningConfig, get_peft_model
from datasets import load_dataset

步骤 2：加载模型和数据集

# 加载预训练模型和分词器
model_name = "gpt2"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token = tokenizer.eos_token  # 为 GPT-2 设置 pad token

# 加载数据集（以 wikitext 为例）
dataset = load_dataset("wikitext", "wikitext-2-raw-v1")

# 数据预处理
def tokenize_function(examples):
    return tokenizer(examples["text"], truncation=True, padding="max_length", max_length=128)

tokenized_dataset = dataset.map(tokenize_function, batched=True)

步骤 3：配置 PrefixTuningConfig

# 配置 Prefix Tuning
prefix_config = PrefixTuningConfig(
    task_type="CAUSAL_LM",           # 因果语言模型任务
    num_virtual_tokens=20,           # 每层前缀 token 数量
    prefix_projection=True,          # 启用前缀投影
    num_layers=12,                   # 应用前缀的层数（GPT-2 有 12 层）
    dropout_prob=0.1,                # Dropout 概率
    modules_to_save=["lm_head"]      # 全量微调语言模型头
)

# 将 Prefix Tuning 应用到模型
peft_model = get_peft_model(model, prefix_config)

# 查看可训练参数
peft_model.print_trainable_parameters()

输出示例：

trainable params: 1,228,800 || all params: 125,668,608 || trainable%: 0.978

这表明只有约 0.98% 的参数需要训练（前缀向量 + 语言模型头参数）。

步骤 4：训练模型

# 配置训练参数
training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    learning_rate=1e-3,                     # Prefix Tuning 通常需要较高学习率
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=3,
    weight_decay=0.01,
)

# 初始化 Trainer
trainer = Trainer(
    model=peft_model,
    args=training_args,
    train_dataset=tokenized_dataset["train"].select(range(1000)),  # 选取子集以加速示例
    eval_dataset=tokenized_dataset["validation"].select(range(200)),
)

# 开始训练
trainer.train()

步骤 5：保存和加载 Prefix Tuning 模型

# 保存 Prefix Tuning 参数
peft_model.save_pretrained("./prefix_model")

# 加载 Prefix Tuning 模型
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained(model_name)
loaded_model = PeftModel.from_pretrained(base_model, "./prefix_model")

步骤 6：推理

# 准备输入
inputs = tokenizer("Once upon a time", return_tensors="pt")

# 推理
loaded_model.eval()
outputs = loaded_model.generate(**inputs, max_length=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

4. PrefixTuningConfig 的优化建议

• 调整 num_virtual_tokens：

  • 较小的值（如 10-20）适合简单任务或快速实验。
  • 较大的值（如 50-100）适合复杂生成任务，但会增加参数量。
  • 参数量与 num_virtual_tokens 和 num_layers 成正比，注意硬件限制。

• 启用 prefix_projection：

  • 设置 prefix_projection=True 通常能提高性能，因为 MLP 投影增强了前缀的表达能力。
  • 如果内存受限，可以尝试 False 以减少参数量。

• 选择 num_layers：

  • 默认应用到所有层，但可以减少 num_layers（如 6）以降低参数量。
  • 对于深层模型（如 LLaMA），只对前几层或后几层应用前缀可能已足够。

• 学习率：

  • Prefix Tuning 通常需要较高的学习率（如 1e-3 或 5e-4），因为只优化少量参数。
  • 使用学习率调度器（如线性衰减）以提高稳定性。

• 任务类型：

  • 确保 task_type 匹配模型类型，例如 GPT 使用 "CAUSAL_LM"，T5 使用 "SEQ_2_SEQ_LM"。

• 内存优化：

  • Prefix Tuning 参数量较小，但对于大模型，可以结合 4-bit 量化：

    from transformers import BitsAndBytesConfig
    quantization_config = BitsAndBytesConfig(load_in_4bit=True)
    model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=quantization_config)
    

5. Prefix Tuning vs. 其他 PEFT 方法

• Prefix Tuning vs. Prompt Tuning：

  • 结构：Prompt Tuning 在输入序列添加虚拟 token，Prefix Tuning 在每层添加前缀向量。
  • 参数量：Prefix Tuning 参数量通常更多，因为涉及多层。
  • 适用场景：Prefix Tuning 更适合生成任务，Prompt Tuning 更通用。

• Prefix Tuning vs. LoRA：

  • 参数量：Prefix Tuning 参数量通常少于 LoRA（取决于 num_virtual_tokens 和 num_layers）。
  • 灵活性：LoRA 应用于权重矩阵，适用于多种任务；Prefix Tuning 更专注生成任务。
  • 性能：LoRA 通常在分类任务中表现更好，Prefix Tuning 在生成任务中更优。

6. 常见问题与解答

• Q1：如何选择 num_virtual_tokens？

  • 从 10-20 开始实验。如果生成质量不足，增加到 50 或 100。
  • 注意参数量随 num_virtual_tokens 和 num_layers 线性增长。

• Q2：prefix_projection 是否必须启用？

  • 不必须，但启用 prefix_projection=True 通常能提升性能，尤其在复杂任务中。
  • 如果内存受限，尝试 False 并减少 num_virtual_tokens。

• Q3：Prefix Tuning 是否支持所有模型？

  • 支持所有 Hugging Face Transformers 模型，但最适合生成模型（如 GPT、LLaMA、T5）。
  • 对于分类模型（如 BERT），效果可能不如 LoRA。

• Q4：性能不佳如何优化？

  • 增加 num_virtual_tokens 或启用 prefix_projection。
  • 调整学习率（尝试 5e-4 到 2e-3）。
  • 检查数据集质量或增加训练轮次。
  • 尝试其他 PEFT 方法（如 LoRA）以比较性能。

7. 进阶用法

• 多任务 Prefix Tuning：

  • 为不同任务创建多个前缀：

  prefix_config_task1 = PrefixTuningConfig(
      task_type="CAUSAL_LM",
      num_virtual_tokens=20,
      prefix_projection=True
  )
  prefix_config_task2 = PrefixTuningConfig(
      task_type="CAUSAL_LM",
      num_virtual_tokens=20,
      prefix_projection=False
  )
  
  peft_model = get_peft_model(model, prefix_config_task1, adapter_name="task1")
  peft_model.add_adapter("task2", prefix_config_task2)
  peft_model.set_adapter("task1")  # 切换前缀
  

• 保存到 Hugging Face Hub：

  peft_model.push_to_hub("your-username/prefix-model")
  

• 结合量化：

  from transformers import AutoModelForCausalLM, BitsAndBytesConfig
  quantization_config = BitsAndBytesConfig(load_in_4bit=True)
  model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=quantization_config)
  peft_model = get_peft_model(model, prefix_config)
  

8. 进一步资源

• 官方文档：https://huggingface.co/docs/peft/conceptual_guides/prefix_tuning
• GitHub 示例：https://github.com/huggingface/peft/tree/main/examples
• 论文：Prefix Tuning 原始论文（https://arxiv.org/abs/2101.00190）。