大家好,今天我们重点介绍一下VAE模型,大家和我一起来看看吧。
一. VAE模型****介绍
我们可以把VAE模型理解为颜色滤镜,它主要用于调节和美化生成图片的色彩。在制图时,它也不是必须的,依据个人绘画需要决定是否采用。在使用某些模型时,有时候绘制的图片整体颜色比较灰,这个时候可以使用VAE模型对图片的颜色进行矫正。
不同于LORA模型,VAE模型数量就少很多了,在C站搜索出来的VAE模型就只有11种。
这11种VAE模型:
- vae-ft-mse-840000-ema-pruned
- vae-ft-ema-560000-ema
- artshp_V12
- Matrix-VAE
- ClearVAE
- sdxl-vae
- liquid111vae
- hassakuHentaiModel_v13-2982
- kl-f8-anime
- anything-model-vae-v40
- Nenhance
因为VAE需要完成的功能主要是颜色滤镜,11种模型在实现上区别并不太大。最常用的VAE模型是"vae-ft-mse-840000-ema-pruned"。一般大家在使用的时候选择这种模型即可。
二. VAE模型的下载与安装
VAE模型的下载
在C站上面,在搜索条件中通过VAE关键字过滤出所有的VAE模型。
点击图片,进入详细页。
点击【Download】按钮,将VAE模型下载到本地即可。
VAE模型的安装
以autoDL算力云为例,直接将下载的文件放到下面的目录即可。
/stable-diffusion-webui/models/Stable-diffusion/models/vae/
完成安装后,在SD Web UI界面就可以看到对应的VAE模型了。一般VAE模型都是在大模型的右边。
三. VAE模型的使用
很多时候,我们绘图时有没有选择VAE模型对我们最终生成的图片效果并没有太大的影响。因为这个模型并没有像LORA模型一样,在我们绘图中起到的作用和效果那么明显。我尝试了几个常用的大模型,发现使用和没使用VAE模型的区别并没有那么大。
下面我们以一个例子来看一下在使用和没使用VAE模型最终生成图片的区别。
大模型:anything-v4.5-pruned-fp16.ckpt
正向提示词:
Front-facing portrait of a 20-year-old girl with long, flowing blonde hair, piercing blue eyes, porcelain skin, delicate features, and a subtle smile. She is wearing a white summer dress, standing in a sunlit field of wildflowers, with a gentle breeze rustling her hair. The photo has a soft, dreamy quality, capturing the girl’s natural beauty and innocence. Best quality, masterpiece, 8K resolution, DSLR, natural lighting, film-like grain,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper
反向提示词:
(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error
由于脚本中使用VAE模型选项时,必须要选择VAE模型,没有none(无)选项,不方便比较。所以这里我们采用固定生成种子的方式,保证生成的图片是一致的。我们看一下最终的效果。
没有使用VAE模型的效果:
使用VAE模型anything-v4.0.vae.pt的效果
使用VAE模型vae-ft-mse-840000-ema-pruned的效果
四. VAE模型使用相关说明
(1)VAE模型并不是在所有的大模型中都生效的。
(2)目前很多的大模型都已经把VAE模型内置到里面了。所以很多时候我们看到使用和没有使用VAE模型对最终生成的图片影响并没有多大。
(3)VAE模型只是SD设计中的一个环节,使用VAE实现图片滤镜效果,有时候把图片给PS软件处理可能更方便,因此大家不要局限于工具本身,灵活使用工具快速绘图实现需求目标才是我们真正的目的。型
现在AI绘画还是发展初期,大家都在摸索前进。
但新事物就意味着新机会,我们普通人要做的就是抢先进场,先学会技能,这样当真正的机会来了,你才能抓得住。
如果你对AI绘画感兴趣,我可以分享我在学习过程中收集的各种教程和资料。
学完后,可以毫无问题地应对市场上绝大部分的需求。
这份AI绘画资料包整理了Stable Diffusion入门学习思维导图、Stable Diffusion安装包、120000+提示词库,800+骨骼姿势图,Stable Diffusion学习书籍手册、AI绘画视频教程、AIGC实战等等。
完整版资料我已经打包好,点击下方卡片即可免费领取!
【Stable Diffusion学习路线思维导图】
【Stable Diffusion安装包(含常用插件、模型)】
【AI绘画12000+提示词库】
【AI绘画800+骨骼姿势图】
【AI绘画视频合集】
这份完整版的stable diffusion资料我已经打包好,点击下方卡片即可免费领取!