Hugo_Hoo 2025-02-20 23:13 采纳率: 100%
浏览 182
已结题

使用unsolth微调出现AttributeError: _unwrapped_old_generate

在使用unsolth对deepseek进行微调时出现错误，不知道怎么解决：
File ~/miniconda3/lib/python3.10/site-packages/unsloth/models/llama.py:2737, in FastLlamaModel.for_training(model, use_gradient_checkpointing)
2735 if hasattr(model, "_unwrapped_old_generate"):
2736 model.generate = model._unwrapped_old_generate
-> 2737 del model._unwrapped_old_generate
2738 pass
2740 # Also re-enable training for embeddings for NEFTune

File ~/miniconda3/lib/python3.10/site-packages/torch/nn/modules/module.py:2040, in Module.delattr(self, name)
2038 del self._modules[name]
2039 else:
-> 2040 super().delattr(name)

AttributeError: _unwrapped_old_generate

  • 写回答

3条回答 默认 最新

  • Hugo_Hoo 2025-02-21 16:08
    关注

    解决方案：
    在第5步之前增加 ： FastLanguageModel.for_training(model) 切换到训练模式， 可以解决这个报错的问题。
    即在下面这段代码前增加：

    
model = FastLanguageModel.get_peft_model(
    model,
    r=16,  
    target_modules=[
        "q_proj",
        "k_proj",
        "v_proj",
        "o_proj",
        "gate_proj",
        "up_proj",
        "down_proj",
    ],
    lora_alpha=16,
    lora_dropout=0,  
    bias="none",  
    use_gradient_checkpointing="unsloth",  # True or "unsloth" for very long context
    random_state=3407,
    use_rslora=False,  
    loftq_config=None,
)
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题？

问题事件

  • 系统已结题 3月1日
  • 已采纳回答 2月21日
  • 创建了问题 2月20日