一、基础工作流搭建原理
在ComfyUI中,工作流是最核心的概念。你可以把它想象成一个由多个节点通过连接组成的图形化界面,这些节点就像乐高积木一样,每个都有独特的功能。通过将这些节点灵活组合,你可以构建出完整的AI绘图处理流程,从而实现各种惊艳的AI绘图效果。简单来说,工作流就是让你像搭积木一样,自由设计和控制AI绘图的每一步操作。
工作原理如下
- 第一步(
模型阶段
):Comfyui通过大模型来控制作品的主题风格和细节风格。 - 第二步(
prompt
):将自己的想法输入给它,这里我们姑且将想法分为正向和反向,使用Clip(文本编码模型)
可以让AI理解我们给它输入的想法。 - 第三步(进行画图的过程):将此过程称为K采样,在Latent Space中进行画图(可以理解为画纸,在此进行采样,当然这是我们想象中的空间,在这片空间中有很多的噪点,K采样就是将这些密密麻麻的噪点进行合理的摘除)。
- 第四步(VAE解码):可以理解为做出来的图片只有经过解码才能被我们人类理解。
上述是文生图的工作原理。图生图和文生图工作原理类似,唯一的区别就是文生图是在空白的画纸上进行画图,而图生图顾名思义就是在原有的图片上进行画图。需要注意的是对于图生图而言,我们将原有的图片输入给AI的时候也是需要经过VAE
的。
上述就是一个最简单的工作流,接下来对上面基本的节点进行简单的介绍。
二、Checkpoint加载器
Checkpoint用于加载和管理预训练的模型检查点(Checkpoint)。它的作用是让用户能够加载不同的模型权重文件,从而在生成图像、文本或其他任务时使用这些预训练模型(理解为可以选择不同图片风格的模型)。
三、Clip(文本编码器)
Clip就是文本编码器,分为正向和负向,可以将我们的想法(称为文本提示词)输入其中,用于引导选择的模型从而生成我们想要的内容。
四、Latent节点
我们可以把空Latent节点理解为空白的画布(浅空间)。通过调整参数可以控制画布大小,从而生成合适大小的图片。
五、VAE解码
将潜在空间内容解码成可以被我们人类理解的图片,简单来说VAE解码就是一个翻译官,AI生成的内容需要经过VAE解码翻译我们人类才能看懂。
六、VAE编码
与VAE解码恰恰相反,VAE编码就是将图像丢到VAE中进行编码变成浅空间从而使得K采样器在这个浅空间的基础上进行作图。
可以看到VAE编码中有图像、VAE、Latent三个小节点。
其中VAE的作用就是将VAE模型导入的一个小节点,选择一个VAE模型来处理图像和编码之间的转换。注意,如果Checkpoint加载器中选择的模型是1.5版本或者是XL版本的话则只需要将该VAE这个小节点连向Checkpoint加载器而不需要连向VAE加载器,因为1.5版本和XL版本通常包含了Clip和VAE的功能。但是Flux模型加载器的话就只有模型,想使用VAE加载器就必须要使用VAE编码,Flux模型的Clip和VAE是分开的。
七、KSampler(K采样器)
KSampler简称K采样器,K采样器是Comfyui的核心节点。该节点的工作原理:K采样器首先会根据我们选择的模型和提供的想法生成一个充满噪点的图像,K采样的过程就是合理的去除其中的噪点从而生成我们想要的图片(我们可以把这个过程理解为雕刻)。
K采样器包含很多参数,如下:
- 随机种子(seek),随机种子可以控制浅空间中的初始噪声,我们可以通过控制seek来生成重复一样的图像(当前,前提是你想的话)。
- control-after-generate(称为运行后操作),我们要知道,在Comfyui每次生成完图像之后,seek的值会发生变化,通过控制control-after-generate可以做到控制seek的变化,可以让其每次运行之后seek可以固定不变(fixed)、可以加1,可以减1,也可以随机。
- 步数(step):步数可以简单理解为该工作流使用了多少部来完成我们的想要的过程。理论上来说,步数越多,做出来的图像就越清晰(做图的速度也会随之下降),符合我们的想法,当然这也不是绝对的,当步数非常大时生成的图片可以会发生畸形。
- CFG:CFG即提示词的引导系数,与使用的模型有关,该值越高则生成的图像与贴合我们的想法,当然图像的质量也会随着CFG值的升高而下降。该值一般不会超过8。模型是1.5版本该值一般设置3.5-6,模型是XL版本该值一般设置为6-8,而对于Flux模型的话一般设置为1。
- 降噪(denoise):表示要增加多少初始噪点,1表示全部。在文生图中一般默认将该值设置为1即可。图生图中该值越低则表示生成的图与原图的贴合度越高。
- 调度器(scheduler):调度器的作用就是控制每个步骤中去噪点的过程,可以选择不同的调度来进行控制去噪点的过程。
- 采样器:最常用的分为3大类,euler类(适用于做二次元),dpmpp_2m类(适用于做写实摄影人像,适合对图片进行整体处理,一般配置karras调度器,推荐迭代步数是20-30之间),dpmpp_sde类(对于图片的细节部位处理的很到位)。
八、效果演示
本文完整基础工作流(使用Flux模型搭建,记得CFG值设置为1)如下:
提示词如下:
An adorable and cute kitten, fluffy white fur with soft orange patches, big round sparkling eyes, tiny pink nose, small paws, sitting on a cozy knitted blanket, surrounded by pastel-colored toys and flowers, warm sunlight streaming through a window, soft focus background, pastel color palette, kawaii aesthetic, highly detailed, smooth textures, heartwarming and cheerful atmosphere, 8k resolution, ultra-cute and charming.
最终效果图如下: