深入了解ControlNet：图像合成新利器

在当今的图像合成和AI领域，Stable Diffusion已经掀起了一场革命。随着大量新用户、开发者和创作者的涌入，基于原始Stable Diffusion项目的有用且富有创意的衍生项目层出不穷，比如Dreambooth、Textual Inversion和Stable Diffusion Web UI等。而今天，我们要探讨的是扩散模型在图像生成方面的最新且可能最强大的进展——ControlNet。

什么是ControlNet

ControlNet是本月初刚推出的一项技术，它在控制图像扩散模型的输出方面取得了重大进展。借助这个新框架，用户可以从输入图像中捕捉场景、结构、物体或主体姿态，然后将这些特征传递到生成过程中。简单来说，它能让模型完全保留原始输入的形状，在使用输入提示中的新特征的同时，创作出保留形状、姿态或轮廓的新颖图像。

ControlNet的工作原理

从功能上看，ControlNet通过包裹图像合成过程来发挥作用。它可以利用其内置预测或众多额外的注释器模型之一，为模型的运行赋予对形状的关注。从实现细节来看，它创建了Stable Diffusion的12个编码块和1个中间块的可训练副本。这12个块分为4种分辨率（64 × 64、32 × 32、16 × 16、8 × 8），每种分辨率有3个块。其输出会被添加到U-net的12个跳跃连接和1个中间块中。

输入数据会同时通过左侧的Stable Diffusion块，同时右侧的ControlNet块也会对其进行处理。在编码过程中，这个过程几乎完全相同。在对图像进行去噪时，每一步中Stable Diffusion解码器块都会从Con