超级会员免费看
本文探讨了多模态图像合成和编辑的最新进展，特别是基于生成对抗网络(GAN)和扩散模型的方法。通过视觉、文本、音频等多种模态的引导，实现了对图像的精确控制。条件GAN、GAN逆向、扩散模型、自回归方法和神经辐射场（NeRF）等技术被用来结合不同模态信息进行图像生成。各种模型结构、条件融合策略和损失函数被详细讨论，强调了它们在处理多模态信息和生成高质量图像方面的优势和局限性。
1.introduction
基于GAN和扩散模型，通过融入多模态引导来调节生成过程，从不同的多模态信号中合成图像；是为多模态图像合成和编辑使用预训练模型，通过在GAN潜在空间中进行反演，应用引导函数，或调整扩散模型的潜在空间和嵌入。
2.modality foundations
每一种信息源或形式都可以成为模态。
2.1 Visual guidance
视觉引导将特定图像属性编码在像素空间中，提供控制。视觉引导编码在2d像素空间中表示为特定类型的图像，因此可以通过多种图像编码策略直接进行编码，由于编码后的特征在空间上与图像特征对齐，可以使用拼接，spade，cross-attention等方式，webui中的图生图，通过autoencoderKL产生init_latent，文本通常会通过cross-attention融合模型，但输入的图像不会。
2.2 Text guidance
clip通过大量的图像-文本对训练产生了信息丰富的文本嵌入，广泛用于文本编码。
2.3 Audio guidance
与文本和视觉指导不同，音频指导提供了可以用于生成动态或连续视觉内容的时间信息。输入音频片段可以
订阅专栏 解锁全文
扫一扫
970
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
