本文介绍了Stable Diffusion在AI绘画中的应用，通过使用Latent Diffusion、Cross-Attention和Text-based Generation技术，实现高质量图像合成。文章详细讲述了模型的训练实践，包括使用Google Conceptual Caption数据集，以及通过萤火二号和hfai.pl插件进行训练优化，提升模型性能。最后，展示了训练结果和体验总结。
Stable Diffusion
AI 绘画最近成功破圈，成了炙手可热的热门话题。DALLE，GLIDE，Stable Diffusion 等基于扩散机制的生成模型让 AI 作图发生质变，让人们看到了“AI 转成生产力”的曙光。
在这些扩散模型中，Stable Diffusion 以其优秀的效果和开源的权重成为了其中的代表，受到广泛的关注和体验。其基于 Laion5B 超大规模“文本 - 图像”对数据集，Stable AI 宣称用了 5000 张 A100 耗时几个月训练而成。幻方 AI 近期在萤火二号上使用 Google Caption 数据集复现了 Stable Diffusion 的训练，并进行了优化。通过幻方自研的 hfai.pl 插件将源代码 Pytorch Lightning 框架与萤火集群的特性轻松整合，并通过 3FS、hfreduce、算子等优化工具对模型训练提速。
本文将分享我们对 Stable Diffusion 训练优化的心得体验，帮助研究者和开发者们降低研究门槛。
论文标题：High-Resolution Image Synthesis with Latent Diffusion Models
原文地址：https://arxiv.org/abs/2112.10752
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
