【Stable Diffusion】:VAE模型

大家好,今天我们重点介绍一下VAE模型,大家和我一起来看看吧。

一. VAE模型****介绍

我们可以把VAE模型理解为颜色滤镜,它主要用于调节和美化生成图片的色彩。在制图时,它也不是必须的,依据个人绘画需要决定是否采用。在使用某些模型时,有时候绘制的图片整体颜色比较灰,这个时候可以使用VAE模型对图片的颜色进行矫正。

图片

不同于LORA模型,VAE模型数量就少很多了,在C站搜索出来的VAE模型就只有11种。

图片

这11种VAE模型:

  • vae-ft-mse-840000-ema-pruned
  • vae-ft-ema-560000-ema
  • artshp_V12
  • Matrix-VAE
  • ClearVAE
  • sdxl-vae
  • liquid111vae
  • hassakuHentaiModel_v13-2982
  • kl-f8-anime
  • anything-model-vae-v40
  • Nenhance

因为VAE需要完成的功能主要是颜色滤镜,11种模型在实现上区别并不太大。最常用的VAE模型是"vae-ft-mse-840000-ema-pruned"。一般大家在使用的时候选择这种模型即可。

二. VAE模型的下载与安装

VAE模型的下载

在C站上面,在搜索条件中通过VAE关键字过滤出所有的VAE模型。

图片

点击图片,进入详细页。

图片

点击【Download】按钮,将VAE模型下载到本地即可。

VAE模型的安装

以autoDL算力云为例,直接将下载的文件放到下面的目录即可。

/stable-diffusion-webui/models/Stable-diffusion/models/vae/

图片

完成安装后,在SD Web UI界面就可以看到对应的VAE模型了。一般VAE模型都是在大模型的右边。

图片

三. VAE模型的使用

很多时候,我们绘图时有没有选择VAE模型对我们最终生成的图片效果并没有太大的影响。因为这个模型并没有像LORA模型一样,在我们绘图中起到的作用和效果那么明显。我尝试了几个常用的大模型,发现使用和没使用VAE模型的区别并没有那么大。

下面我们以一个例子来看一下在使用和没使用VAE模型最终生成图片的区别。

大模型:anything-v4.5-pruned-fp16.ckpt

正向提示词:

Front-facing portrait of a 20-year-old girl with long, flowing blonde hair, piercing blue eyes, porcelain skin, delicate features, and a subtle smile. She is wearing a white summer dress, standing in a sunlit field of wildflowers, with a gentle breeze rustling her hair. The photo has a soft, dreamy quality, capturing the girl’s natural beauty and innocence. Best quality, masterpiece, 8K resolution, DSLR, natural lighting, film-like grain,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper

反向提示词:

(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error

图片

由于脚本中使用VAE模型选项时,必须要选择VAE模型,没有none(无)选项,不方便比较。所以这里我们采用固定生成种子的方式,保证生成的图片是一致的。我们看一下最终的效果。

没有使用VAE模型的效果:

图片

使用VAE模型anything-v4.0.vae.pt的效果

图片

使用VAE模型vae-ft-mse-840000-ema-pruned的效果

图片

四. VAE模型使用相关说明

(1)VAE模型并不是在所有的大模型中都生效的。

(2)目前很多的大模型都已经把VAE模型内置到里面了。所以很多时候我们看到使用和没有使用VAE模型对最终生成的图片影响并没有多大。

(3)VAE模型只是SD设计中的一个环节,使用VAE实现图片滤镜效果,有时候把图片给PS软件处理可能更方便,因此大家不要局限于工具本身,灵活使用工具快速绘图实现需求目标才是我们真正的目的。

现在AI绘画还是发展初期,大家都在摸索前进。

但新事物就意味着新机会,我们普通人要做的就是抢先进场,先学会技能,这样当真正的机会来了,你才能抓得住。

如果你对AI绘画感兴趣,我可以分享我在学习过程中收集的各种教程和资料。

学完后,可以毫无问题地应对市场上绝大部分的需求。

这份AI绘画资料包整理了Stable Diffusion入门学习思维导图Stable Diffusion安装包120000+提示词库,800+骨骼姿势图,Stable Diffusion学习书籍手册AI绘画视频教程AIGC实战等等。

完整版资料我已经打包好,点击下方卡片即可免费领取!

【Stable Diffusion学习路线思维导图】

img

【Stable Diffusion安装包(含常用插件、模型)】

img

【AI绘画12000+提示词库】

img

【AI绘画800+骨骼姿势图】

img

【AI绘画视频合集】

img

这份完整版的stable diffusion资料我已经打包好,点击下方卡片即可免费领取!

在这里插入图片描述

<think>好的,用户想了解Stable Diffusion中的VAE模型选项和配置方法。首先,我需要回顾一下之前提供的引用内容,确保信息准确。引用[1]提到VAE是生成高质量图像的关键组件,配置参数和模型选择很重要。引用[2]解释了VAE是变分自动编码器,作为解码工具,通常选择自动模式。引用[3]提到SDXL模型可能需要特定版本支持,需要注意兼容性。引用[4]则说明模型存放位置和调整超参数的重要性。 接下来,我需要组织这些信息,分步骤解释VAE的选项和配置。首先,应该介绍VAE的基本作用,然后详细说明不同的选项,比如自动、无、自定义模型等。接着,配置方法需要包括文件存放位置、UI中的设置步骤,以及常见问题处理,比如模糊图像或颜色问题。同时,需要提到版本兼容性,尤其是使用SDXL模型时的注意事项。 用户可能作为新手或进阶用户,所以内容要兼顾基础和高阶配置。比如,新手应该从自动模式开始,而高级用户可以尝试动态加载或微调。此外,显存优化和模型选择建议也很重要,需要根据用户的使用场景推荐不同的VAE模型,比如官方默认或特定风格的模型。 需要确保回答结构清晰,分点说明,并引用相关的引用内容作为支持。同时,生成相关问题时要覆盖用户可能进一步提出的疑问,比如如何解决颜色异常、不同VAE模型的差异,以及版本兼容性问题。最后,检查LaTeX格式是否符合要求,确保所有数学表达式正确使用$...$,独立公式用$$...$$,并且引用标识正确添加在段落末尾。</think>### Stable Diffusion VAE模型选项及配置详解 #### 一、VAE模型的核心作用 VAE(变分自动编码器)在Stable Diffusion中承担解码器的核心功能,负责将潜空间特征转化为最终像素图像[^2]。其质量直接影响生成图像的细节表现、色彩准确性和边缘清晰度[^1]。 #### 二、VAE模型选项说明 1. **自动模式(默认)** - 自动加载模型内置VAE - 兼容性最佳但可能限制扩展功能[^2] 2. **无VAE模式** - 用于对比测试或特定艺术风格需求 - 可能导致图像模糊或结构异常 3. **自定义VAE** - 支持用户上传的`.pt`或`.ckpt`文件 - 示例路径(WebUI): ``` /stable-diffusion-webui/models/VAE ``` #### 三、进阶配置方法 1. **动态加载技巧** ```python # 示例代码片段(WebUI内核) vae = AutoencoderKL.from_pretrained(config.vae_path) ``` - 支持不同模型匹配不同VAE[^1] 2. **显存优化参数** - 启用`--medvram`或`--lowvram`参数时 - 建议使用轻量级VAE(如`vae-ft-mse-840000`) 3. **SDXL模型专用配置** $$ \text{SDXL\_VAE} = \begin{cases} \text{refiner\_vae} & \text{if version ≥1.6.0} \\ \text{default\_vae} & \text{otherwise} \end{cases} $$ 需确认WebUI内核版本≥1.6.0[^3] #### 四、典型问题解决方案 | 问题现象 | 解决方案 | 参考依据 | |---------|----------|---------| | 图像模糊 | 检查VAE是否加载 | [^4] | | 颜色异常 | 更换VAE模型 | [^1] | | 显存不足 | 使用优化版VAE | [^1] | #### 五、推荐配置策略 1. 新手建议:`vae-ft-mse-840000-ema-pruned` 2. 动漫风格:`anything-v3.0.vae` 3. 写实风格:`sd-v1-5.vae.pt`
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值