我用unsloth将Qwen3大模型微调成了一个脑筋急转弯专家

之前分享过LLama-Factory微调实战文章，今天Unsloth更适合在硬件资源有限的场景下做微调，它比LLama-Factory更节省GPU显存。

一、环境准备

1）选择3090显卡的即可（如果本地有GPU机器，请用自己的），选择了PyTorch

2）安装Anaconda（AutoDL上已默认安装miniconda3）

Anacoda官网：https://www.anaconda.com/

根据你自己的系统下载对应版本

安装完成后，打开终端（Linux/macOS）或Anaconda Prompt（Windows），输入以下命令创建一个新环境：

（AutoDL上需要做以下操作）

conda create -n llama_factory python=3.10 conda activate llama_factory 

3）安装cuda（AutoDL已安装）

参考： https://help.aliyun.com/zh/egs/user-guide/install-a-gpu-driver-on-a-gpu-accelerated-compute-optimized-linux-instance

4）下载数据集

数据集对于微调来说，是很重要的一环，数据集质量的好坏直接决定了你微调的效果。本次实验我用的是一个关于脑筋急转弯的数据集，地址：

https://modelscope.cn/datasets/helloworld0/Brain_teasers

二、安装Unsloth

1）利用conda创建虚拟环境（如果你没有开启jupyter，则需要做这一步）

conda create -n unsloth_env python=3.10conda activate unsloth_env
2）安装Unsloth

pip install unsloth

三、下载Qwen3大模型

此次微调我用的是Qwen3-4B的版本，相对来说参数量不大，而且效果比较好。先用pip安装modelscope模块

pip install modelscope
然后创建目录，并下载模型：

mkdir -p /models/modelscope download --model Qwen/Qwen3-4B --local_dir /models/Qwen3-4B
说明： Qwen3-4B大模型会下载到/models/Qwen3-4B下面

四、微调前的测试

微调之前可以先加载初始模型做推理测试，编写测试脚本befor_train.py，内容如下：

from unsloth import FastLanguageModel

model_name = "/models/Qwen3-4B"  # 替换为实际模型路径
max_seq_length = 2048  # 最大上下文长度
dtype = None  # 自动选择 float16 或 bfloat16
load_in_4bit = True  # 启用 4-bit 量化

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name=model_name,
    max_seq_length=max_seq_length,
    dtype=dtype,
    load_in_4bit=load_in_4bit,
)

FastLanguageModel.for_inference(model)
inputs = tokenizer(
    ["Instruction: 你是脑筋急转弯专家，请回答我的问题：什么东西力气再大也不愿意抗？"], return_tensors="pt"
).to("cuda")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

说明：初次加载模型耗时会很久，耐心等待，看其输出内容对比数据集中的答案，是否有差异。

**五、开始微调**

编写微调的脚本train.py，内容如下：

from unsloth import FastLanguageModel
from trl import SFTTrainer
from transformers import TrainingArguments
from datasets import load_dataset
import torch
# 加载模型
model_name = "/models/Qwen3-4B"
max_seq_length = 2048
dtype = None
load_in_4bit = True
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name=model_name,
    max_seq_length=max_seq_length,
    dtype=dtype,
    load_in_4bit=load_in_4bit,
)
# 配置 LoRA
model = FastLanguageModel.get_peft_model(
    model,
    r=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    lora_alpha=64,
    lora_dropout=0.2,
    bias="none",
    use_gradient_checkpointing=True,
    random_state=3407,
)
# 加载和预处理数据集
dataset = load_dataset("json", data_files="/models/datasets/data.json", split="train")
train_prompt_style = """下面是一个脑筋急转弯问题，请提供合适的答案，不需要提供思考过程。
### 指令:
你是一个脑筋急转弯专家，请回答以下问题，不需要提供思考过程。
### 问题:
{}
### 回复:
{}"""
def formatting_prompts_func(examples, eos_token):
    inputs = examples["instruction"]
    outputs = examples["output"]
    texts = []
    for inputs, outputs in zip(inputs, outputs):
        text = train_prompt_style.format(inputs, outputs) + eos_token # eos token在training的时候必须要加
        texts.append(text)
    return {
        "text": texts,
    }
dataset = dataset.map(
    formatting_prompts_func,
    batched=True,
    fn_kwargs={'eos_token': tokenizer.eos_token}, # tokenizer为前面加载model是加载的tokenizer
)
# 配置训练
trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=max_seq_length,
    args=TrainingArguments(
        per_device_train_batch_size=8,
        gradient_accumulation_steps=4,
        warmup_steps=10,
        max_steps=80,
        learning_rate=5e-5,
        fp16=not torch.cuda.is_bf16_supported(),
        bf16=torch.cuda.is_bf16_supported(),
        logging_steps=5,
        optim="adamw_8bit",
        weight_decay=0.01,
        lr_scheduler_type="linear",
        seed=3407,
        output_dir="outputs",
    ),
)
# 开始训练
trainer.train()
## 保存LoRA适配器
model.save_pretrained("qwen3_lora_finetuned")
tokenizer.save_pretrained("qwen3_lora_finetuned")
## 保存新模型
model.save_pretrained_merged("/models/Qwen3-4B-Aminglinux", tokenizer, save_method="merged_16bit")

说明：数据集文件路径为：/models/datasets/data.json。脚本中涉及很多微调参数，如果想要详细的参数介绍，可以在文章末尾留言这里就不再详细介绍了。

微调会比较耗时，主要取决你的硬件配置以及脚本中你设定的max_steps参数，这个数值越大，它训练的时间就越久。微调后的模型路径为:/models/Qwen3-4B-Aminglinux

六、微调后推理测试

编写测试脚本after_train.py，内容如下：

from unsloth import FastLanguageModel

max_seq_length = 2048
dtype = None
load_in_4bit = False  ##如果显存足够，这里设置为False

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="/models/Qwen3-4B-Aminglinux",
    max_seq_length=max_seq_length,
    dtype=dtype,
    load_in_4bit=load_in_4bit,
)

FastLanguageModel.for_inference(model)
inputs = tokenizer(
    ["Instruction: 你是脑筋急转弯专家，请回答我的问题：什么东西力气再大也不愿意抗？"], return_tensors="pt"
).to("cuda")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

说明：model_name设置为微调后的大模型路径。