一、基础任务
步骤 0. 使用 conda 先构建一个 Python-3.10 的虚拟环境
步骤 1. 安装 XTuner
时间需要很久,在等待过程中,可以先进行后面的修改数据工作
修改提供的数据
这是原始的微调数据,是llm的对话语料,定义这个机器人来写代码,讲冷笑话
步骤 1. 创建修改脚本
代码的主要功能是对关键词进行替换,把尖米助手换成waiting助手
步骤 2. 执行脚本
步骤 3. 查看数据
训练启动
步骤 0. 复制模型
在InternStudio开发机中的已经提供了微调模型,可以直接软链接即可。
步骤 1. 修改 Config
步骤 2. 启动微调
步骤 3. 权重转换
1536 epoch的权重文件有问题,这里就换成保存1500epoch的
文件夹结构
步骤 4. 模型合并
模型 WebUI 对话
可以看到,自我认知修改成功,也能说冷笑话