首个完整封装、一体化训练stable diffusion dreambooth的autodl工具箱环境

# Dreambooth Stable Diffusion 集成化环境训练 如果你是在autodl上的机器可以直接使用封装好的镜像创建实例，开箱即用 如果是本地或者其他服务器上也可以使用，需要手动安装一些pip包 ## 如何运行 直接在autodl使用镜像运行：https://www.codewithgpu.com/i/CrazyBoyM/dreambooth-for-diffusion/dreambooth-for-diffusion 如果你不熟悉notebook代码的训练方式，也可以直接使用封装好的webui在线镜像（含稳定Dreambooth、dreamArtist训练插件，已fix）： https://www.codewithgpu.com/i/CrazyBoyM/sd_dreambooth_extension_webui/dreambooth-dreamartist-for-webui ## 注意 本项目仅供用于学习、测试人工智能技术使用 请勿用于训练生成不良或侵权图片内容 ## 关于项目 在autodl封装的镜像名称为：dreambooth-for-diffusion 可在创建实例时直接选择公开的算法镜像使用。 在autodl内蒙A区A5000的机器上封装，如遇到问题且无法自行解决的朋友请使用同一环境。 白菜写教程时做了尽可能多的测试，但仍然无法确保每一个环节都完全覆盖 如有小错误可尝试手动解决，或者访问git项目地址查看最新的README 项目地址：https://github.com/CrazyBoyM/dreambooth-for-diffusion 如果遇到问题可到b站主页找该教程对应训练演示的视频：https://space.bilibili.com/291593914 （因为现在写时视频还没做） ## 强烈建议 1.用vscode的ssh功能远程连接到本服务器，训练体验更好，autodl自带的notebook也不错，有文件上传、下载功能。 2.(重要)先把/root/目录下dreambooth-for-diffusion文件夹整个移动到/root/autodl-tmp/路径下(数据盘)，避免系统盘空间满 ## 进入工作文件夹 ``` cd /root/autodl-tmp/dreambooth-for-diffusion ``` ## 转换ckpt检查点文件为diffusers官方权重 已经内置了两个基础模型，可以根据自己数据集的特性选择。 - sd_1-5.ckpt是偏真实风格 - nd_lastest.ckpt是偏二次元风格 开始转换二次元模型： ``` # 该步需要运行大约一分钟 !python tools/ckpt2diffusers.py \ --checkpoint_path=./ckpt_models/nd_lastest.ckpt \ --dump_path=./model \ --vae_path=./ckpt_models/animevae.pt \ --original_config_file=./ckpt_models/model.yaml \ --scheduler_type="ddim" ``` 转换写实风格模型： ``` # 该步需要运行大约一分钟 !python tools/ckpt2diffusers.py \ --checkpoint_path=./ckpt_models/sd_1-5.ckpt \ --dump_path=./model \ --original_config_file=./ckpt_models/model.yaml \ --scheduler_type="ddim" ``` 这里后面跟的两个文件分别是你的ckpt文件和转换后的输出路径。 ## 转换diffusers官方权重为ckpt检查点文件 ``` python tools/diffusers2ckpt.py ./new_model ./ckpt_models/newModel_half.ckpt --half ``` 如需保存为float16版精度，添加--half参数，权重大小会减半。 ## 准备数据集 请按照训练任务准备好对应的数据集。 ### 图像裁剪为512*512 我在tools/handle_images.py中提供了一份批量处理的代码用于参考 自动center crop图像，并缩放尺寸 ``` python tools/handle_images.py ./datasets/test ./datasets/test2 --width=512 --height=512 ``` test为未处理的原始图像文件夹，test2为输出处理图像的路径 如需处理透明背景png图为黑色/白色底jpg，可以添加--png参数。 ### 图像自动标注 使用deepdanbooru生成tags label. ``` !python tools/label_images.py --path=./datasets/test2 ``` 第二个参数--path为你需要标注的图像文件夹路径 注：如提示deepdanbooru找不到，可自行参考以下仓库进行编译 https://github.com/KichangKim/DeepDanbooru 我在other文件夹下也提供了一份编译好的版本： ``` pip install other/deepdanbooru-1.0.0-py3-none-any.whl ``` ## 训练以及常用命令总结 ### 配置训练环境（可选） 如果你不是在封装好的镜像上直接使用，则需要做以下配置： ``` pip install accelerate ``` 运行以下命令，并选择本地运行、NO、NO ``` accelerate config ``` ### 开始训练 请打开train.sh文件，参考其中的具体参数说明。 如果需要训练特定人、事物： （推荐准备3~5张风格统一、特定对象的图片） ``` sh train_object.sh ``` 如果要Finetune训练自己的大模型： （推荐准备3000+张图片，包含尽可能的多样性，数据决定训练出的模型质量） ``` sh train_style.sh ``` A5000的训练速度大概8分钟/1000步 ### 测试训练效果 打开train/test_model.py文件修改其中的model_path和prompt，然后执行： ``` python test_model.py ``` ### 其他常用命令 如需后台任务训练： ``` nohup sh train_style.sh & ``` 推荐晚上这样挂后台跑着，不需要担心连接中断导致的训练停止。 白菜个人推荐的省钱训练小妙招: ``` nohup sh back_train.sh & ``` (训练完直接自动关机) 训练日志会输出到nohup.out文件中，可以vscode直接打开或下载查看。 查看日志后十行： ``` tail -n 10 nohup.out ``` 查看当前磁盘占有率： （记得清理不要的文件，不然经常容易磁盘几十个g空间满导致模型保存失败！！） ``` df -h ``` ## 如果你是在其他服务器上执行，没有使用集成环境 提示缺少一些包可以自行安装： ``` pip install diffusers pip install ftfy pip install tensorflow-gpu pip install pytorch_lightning pip install OmegaConf ... 以及其他的一些 ``` ## 学术加速（可选） 如果你需要拉取git上一些内容，发现速度很慢，以下内容或许对你有帮助。 请根据机器所在区域执行以下命令： ``` 北京A区的实例¶ export http_proxy=http://100.72.64.19:12798 && export https_proxy=http://100.72.64.19:12798 内蒙A区的实例¶ export http_proxy=http://192.168.1.174:12798 && export https_proxy=http://192.168.1.174:12798 泉州A区的实例¶ export http_proxy=http://10.55.146.88:12798 && export https_proxy=http://10.55.146.88:12798 ``` ## xformers(可选) 由于A5000实测训练和推理的速度已经很快了，就没有安装。 如果你使用的是其他显卡或者实在有需要，可以参考下面的地址进行编译使用： https://github.com/facebookresearch/xformers （我猜到你可能想要尝试，已经在train/other目录下放了一个提前编译好的版本啦） 注：需要升级pytorch版本到1.12.x以上才能安装使用（好懒）(更新：我已经升级好并帮你装好啦~！) ## 升级pytorch版本到1.12.x ``` pip install torch==1.12.0+cu113 torchvision==0.13.0+cu113 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cu113 ``` # 关于autodl的使用心得 ## 服务器的数据迁移 经常关机后再开机发现机器资源被占用了，这时候你只能另外开一台机器了 但是对于已经关机的机器在菜单上有个功能是“跨实例拷贝数据”， 可以很方便地同步/root/autodl-tmp文件夹下的内容到其他已开机的机器（所以推荐工作文件都放这） （注意，只适用于同一区域的机器之间） 数据迁移教程：https://www.autodl.com/docs/migrate_instance/ ## 传输文件的方式 ### 方式一 使用VScode 直接从vscode拖动上传、下载文件，速度慢，也最简单。 ### 方式二 使用autodl的用户网盘 在autodl的网盘界面初始化一个同区域的网盘，然后重启一下服务器实例 会发现多了一个文件夹/root/autodl-nas/, 你可以在网页界面进行权重和数据的上传 训练完，把生成的权重文件移动到该路径下，就可以去网页上进行下载了。 （对应网页：https://www.autodl.com/console/netdisk） 注意：初始化的网盘一定要和服务器处于同一区域. ### 方式三 使用对象存储 有条件的朋友也可以尝试使用cos或oss进行文件中转，速度更快。 �