视频编码
- 定义: 首先，将视频数据转换为一系列的潜变量代码(latent codes)。这是通过一个预训练的自动编码器(auto-encoder)来完成的。
- 操作: 对于每个视频帧，自动编码器将其转换成一个低维的潜变量代码。这些潜变量代码捕捉了视频帧的主要特征，并且在高维空间中表示视频帧的内容。
噪声添加
- 定义: 按照预定的扩散过程，在潜变量代码上添加噪声。这一过程模拟了图像退化的过程，即从清晰的图像逐渐变为噪声图像。
需要细化的部分：
- 视频编码：这一步是正确的，但值得强调的是，使用的是基础T2I模型（如Stable Diffusion）中预训练的自动编码器，而不是单独训练的编码器。<
最低0.47元/天 解锁文章
扫一扫
374
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
