动态生成黑科技!Deforum 让 Stable Diffusion 化身 AI 界 “万花筒写轮眼”,帧帧惊艳

给不太了解的朋友简单介绍一下,Deforum 是一个基于 Stable Diffusion 开发的短视频生成工具,它能够以特定画面为基础,实现动态的视觉演变效果。

这个Deforum在现如今的开发者都致力于解决AI视频生成的一致性和连贯性时,Deforum故意保留了一部分AI视频生成的特点(随机性),这样你才知道你的产品是AI制作的。
在这里插入图片描述

在之前的笔记中其实没有详细讲解Deforum这个东西,所以今天的内容就是来详细了解一下Deforum究竟是什么和怎么用。

Deforum的简单使用

在之前笔记中只接触过Deforum最简单的用法,也就是Stable Diffusion中的Deforum插件。

安装的方式也很简单,直接在WebUI的扩展安装中搜索下载或者复制Github链接即可,安装详情可以看我上面放的那篇AnimateDiff文章的安装与基本操作部分

在安装完后关闭并重启WebUI,就可以在上方的标签中看到一个Deforum的选项。

仔细看的话Deforum里面有很多参数,看着贼复杂。

提示词的填写

不过简单实践一下就知道了,例如想象三个不同的画面,什么样的都可以,如果没啥想法的咱可以抄原视频教程给出的关键词(写在文生图里 ):

A cup of coffee steaming on the table

A small boat was sailing on the stormy sea

A snowy mountain with aurora in the sky

然后回到Deforum标签,打开提示词选项:

放大看看可以看到默认的情况下这里有四行提示词,每个提示词前面都有一个数字:

接下来复制我们之前在文生图中写的提示词,分别替换进0、30、60数字后面引号中的提示词,第四行也就是90的删掉。

改完后是这样:

在这个框下面还有两个输入选项,这两个正反向提示词框里面填写的是通用的提示词,照我这样填写一些就行:

参数部分

运行 标签中包含了Deforum的绝大多数参数信息。

首先宽度和高度就是决定了最终生成的视频尺寸,其他的参数和往常的文生图都是一样的,而使用的Stable
Diffusion模型则是跟着WebUI界面左上角的模型一致(我选择的是DreamShaper)。

https://civitai.com/models/4384/dreamshaper

运行页面的参数这里目前维持默认就行,需要手动调整的参数在关键帧 标签中。

在关键帧标签中只做三件事情就好了:

1、将缩放参数后面的一大串公式改为“1.03”

2、切换为英文输入法后 ,在平移Y的数值后面敲入下图的内容

3、回到最上方,将视频的最大帧数修改为90。

现在来到输出 的标签,最上方有一个帧率15的设置。相当于视频每秒15帧,一共90帧就是6秒。

这一页不怎么需要变动,如果想要让视频更流畅的话就把下方的帧插值 -引擎 中的无改为FILM

然后就可以点击生成,等待视频的产出。

在刚结束之后右侧只会显示一张静态的图片,需要点击一下上方的打开视频才能完整浏览整个视频。

这样一个视频就绘制出来啦!

绘制一个这样的视频所需要的时间差不多等同于常规情况下绘制45张图片所需的时间。

在绘制的过程中命令行也会不断跳出新的信息,这里面的参数我们会在后续讲到。

这里我们简单讲一下前面的提示词的作用:

这个分段的提示词每一行都代表着分段的内容,例如0就是一开始的画面、30就是第30帧的画面、60就是第60帧的画面。

还记得上面更改过的缩放和平移吗?当视频运动到下一个阶段的时候,系统就会把视频抽一帧出来进行缩放,然后配合新的提示词产出新的画面,从而可以平滑地进入下一帧,相当于一个转场的效果。

而这样重复进行了45次之后就得到了我们最终所看到的这个视频,这样一个不断放大变化的视频,就是Deforum做视频的基本逻辑。

今天的内容就到这里啦!

是不是很简单,主要就是先了解一下Deforum这个东西大概是什么样的以及先简单操作上手一下。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
<think>嗯,用户问的是Stable Diffusion能不能生成像素风的动画。首先,我需要确认Stable Diffusion本身的功能。Stable Diffusion主要是生成静态图像,对吧?那动画需要多连贯的图像,然后组合起来形成动画。 接下来,我得想想像素风的特点。像素艺术通常有低分辨率、有限的调色板和明显的像素块。Stable Diffusion有没有相关的模型或者LoRA专门针对像素风呢?可能社区里有训练好的模型,比如Pixel Art Diffusion之类的。用户可能需要下载这些特定模型才能生成像素风格的图片。 然后,动画的关键在于每一之间的连贯性。虽然Stable Diffusion可以生成单张图片,但连续可能需要通过调整种子或提示词来保持一致性。不过这样做的话,可能每之间变化太大,不够连贯。可能需要其他工具后处理,比如EbSynth来插,或者用ControlNet的姿势控制来保持结构一致。 另外,用户可能不太清楚整个流程,需要分步骤说明:先生成单张像素图,再用工具生成连贯,最后合成动画。还要提到可能的挑战,比如保持风格一致和动作流畅,可能需要手动调整。 最后,推荐一些工具,比如Aseprite做像素编辑,Piskel做在线生成,或者用Stable DiffusionDeforum插件做动画。总结来说,虽然可行,但需要额外工作和工具辅助。</think>可以,Stable Diffusion 理论上能够生成像素风格的动画,但需要结合特定工作流程和技术手段。以下是分步解析: --- ### **一、基础可行性** 1. **像素风格生成** - 通过添加提示词如 `pixel art, 8-bit, retro game style` 可引导生成像素画 - 推荐使用专门训练的像素风模型(如社区模型 _Pixel Art Diffusion_ 或 _Pixel++_) $$ \text{提示词示例:} \text{pixel art sprite sheet, 16x16 resolution, walking animation cycle} $$ 2. **动画原理** - 需要生成连续动作的多图像 - 传统方法需逐绘制,Stable Diffusion 可通过以下两种方式实现: - **单批量生成**:用相同 seed 和提示词生成序列 - **视频生成插件**:如 _Deforum_ 通过参数插值创建渐变动画 --- ### **二、关键技术方案** #### 方案 1:静态序列生成 1. 使用 ControlNet 的 **Tile 模型** 保持画风一致性 2. 通过 **动态提示词** 控制动作阶段: ``` 第一:pixel art character standing, facing left 第二:pixel art character lifting left leg 第三:pixel art character stepping forward ``` #### 方案 2:视频扩散模型 1. 使用 AnimateDiff 等扩展插件 - 加载像素风 LoRA - 设置率(通常 12-24 FPS) $$ \text{参数示例:} steps=25, cfg\_scale=7, sampler=DDIM $$ --- ### **三、典型工作流程** 1. 生成基础精灵表(Sprite Sheet) ```python # 使用 AUTOMATIC1111 的 X/Y/Z 脚本 prompt = "pixel art knight, (attack animation:1.3)" variations = "arms raised -> sword swing -> recovery" ``` 2. 通过 EbSynth 进行风格统一 3. 在 Aseprite 或 Photoshop 中调整时序 --- ### **四、效果局限与优化** | 挑战 | 解决方案 | |------|----------| | 间闪烁 | 启用 _TemporalNet_ 控制时间一致性 | | 色彩溢出 | 添加负面提示词 `smooth gradients, anti-aliasing` | | 分辨率限制 | 使用 latent upscaler 后处理 | --- ### **五、推荐工具组合** 1. **像素优化**:PixelOver 或 GraphicsGale 2. **动画合成**:DragonBones 或 Cocos2d 3. **工作流整合**:ComfyUI 像素动画专用节点 目前已有成功案例(如开源项目 _PixelDance_),但需要约 4-8GB 显存和手动调优。对于简单动画,直接使用专业像素工具(如 Aseprite)效率更高;复杂需求则可尝试 Stable Diffusion + ControlNet 的创新组合。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值