高效微调6：IA3原理与实战

原理

• IA3原理介绍
  • IA3,Infused Adapter by Inhibiting and Amplifying Inner Activations
  • IA3的思想：抑制和放大内部激活，通过可学习的向量对激活值进行抑制或放大。具体来说，会对K、V、FFN三部分的值进行调整，训练过程中同样冻结原始模型的权重，只更新可学习的部分向量部分。训练完成后，与Lora类似，也可以将学习部分的参数与原始权重合并，没有额外推理开销。
    

代码

# 配置文件+模型创建
from peft import IA3Config, TaskType, get_peft_model

config = IA3Config