wzy1414的博客

基于提示词的控制可以满足我们的需求吗？在特定的任务中，我们往往需要很长的时间来训练模。提出了一个神经网络ControlNet，用于控制预训练扩散模型以支持额外的输入条件。trainable copy：针对specific task进行训练。locked copy：保留大模型学习到的能力，增强模型的鲁棒性。，zero convolution用。我们把模型训练好的参数复制一份作为。

Encoder：最常用的就是text encoder，其实就是NLP了，像gpt、bert等等（encoder对生成的图片质量影响很大）常用的encoder有CLIP（预训练模型），属于一对pair的text和image的向量相近，否则相反。Denoise操作并不是直接生成一张去噪后的图像，而是通过网络预测添加的噪音，然后再减去这个噪音。● 中间产物是小图片：我们就把原始图片缩小，然后组成一对pair丢给Decoder进行训练。是生成的高斯噪声，是我们要加在图片上的。我们训练的目标就是让我们预测的。