ComfyUI工作流 使用MyOllamaVision依据画面生成描述

已于 2025-08-16 10:37:13 修改
阅读量1.1k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Stable Diffusion AI绘画 文章标签： ComfyUI AI绘画
于 2023-05-24 12:27:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20288327/article/details/130841403
本文介绍了使用NovelAI进行小说SD批量生成视频的详细步骤和配置方法，包括环境设置、数据文件配置、视频下载、TTS语音生成、SD绘画等。重点强调了不能有中文路径，以及在不同阶段如字幕识别、音频生成、图片处理、视频合成等方面的操作细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

视觉与语言技术的融合推动了人工智能在图像理解与内容创作中的应用。MyOllamaVision 集成了多种先进模型，为图像语义解析与高质量描述生成提供了灵活选择。

本文介绍 MyOllamaVision 的核心模型、常用方法与节点配置，并对不同硬件环境下的应用场景进行对比，总结多模态交互在实际工作流中的价值。

文章目录

MyOllamaVision

MyOllamaVision 集成了前沿的视觉和语言技术，旨在为图像描述提供一种上下文感知强、描述细致的解决方案。该模型在内容创作领域表现突出，可以处理复杂的图像语义，并生成高质量的文本输出，非常适合市场营销、创意广告等需要精美文本内容的用户，为内容创意提供无限可能。

在这里插入图片描述

SD选用模型

MyOllamaVision 提供了一系列视觉模型，涵盖了从轻量级设备优化到高性能计算的多种需求。这些模型专注于多模态交互、图像生成、视觉内容分类和文本描述生成等功能，广泛适用于人工智能领域的不同场景。每个模型在存储需求、内存占用、推理速度和精度表现上展现出独特的优势，以满足从移动端轻量化部署到高质量内容创作的多样化要求。

一些模型如 minicpm-v 强调轻量化设计，适合低性能设备运行，而诸如

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ComfyUI工作流 使用PhiPrompt依据画面生成描述
Mr数据杨
07-06 3911
无论是面向快速推理和低资源设备的轻量化任务，还是需要高精度输出的视觉描述场景，该节点都能高效应对。其内置的自动模式（auto）更是为用户提供了便捷的动态模型选择能力，使得任务切换和资源优化变得更加顺畅。这种灵活性和适应性让。是一款高度灵活的图像描述工具，它的独特之处在于能够根据用户的提示生成个性化的文本输出。对于需要针对特定任务或领域进行高度定制化描述的用户来说，这款模型是一个理想的选择，例如专业图像标注或行业专属内容创作场景。这些模型根据应用场景和资源需求优化，用户可以通过其灵活的配置生成高质量的输出。
ComfyUI工作流 使用Joy_caption依据画面生成描述
Mr数据杨
03-22 8475
是一个专注于图像转文本描述的模型，设计目标是生成高质量、详细且符合语义逻辑的自然语言描述。其核心优势在于深度学习技术的应用，能够精准捕捉图像中的细节，并生成流畅、易于理解的文本输出。对于需要高精度内容描述的场景，例如教育、内容创作或文学分析，这款模型提供了一个可靠的解决方案，非常适合对图像有深入语义理解需求的用户。以下是针对这两个模型的详细对比表。则保留了完整的模型权重，能够在高性能环境下提供更高的生成质量和稳定性，适用于对文本生成精度要求更高的任务场景。
AI 绘画Stable Diffusion 研究（十四）SD 图生图+剪映制作人物说话视频
w风雨无阻w的专栏
08-23 6433
选择张嘴提示词， 会弹出权重操作按钮，然后我们点击三次，增加权重图标按钮，此时提示词输入框内会自动增加提示词的权重。那有没有其他方法制作数字人视频，既能达到让数字人张嘴说话的效果， 效率又更高，还可以使用非正面图的方式呢？上面我们已经获得了人物张嘴的图片，那么接下来，我们使用剪映，加上配音和字幕，即可制作人物开口说话视频了。尤其是显卡和显存比较低的朋友，想要制作一个长时间的视频，效率更低。因此我们先使用闭嘴的图，然后在5帧的地方，切换张嘴的图即可实现。选中两个片段，然后鼠标右键，新建复合片段，打组。
还不知道SD如何生成动画视频？快来试试Animatediff 插件生成视频
2401_84830464的博客
08-23 2519
今天和大家介绍一款SD动画插件“AnimateDiff”，这是一款可以在stable diffusion中制作稳定gif动图的插件，通过AnimateDiff这款插件，直接通过文生图的形式就可以生成gif动图，而且从最终出图的品质来看，动图的表现非常的稳定，并且动图画面也很流程，那么就让我们看看具体要如何使用“AnimateDiff”插件。
文本转视频工具-text2video：一键转换，让文字动起来
最新发布
gitblog_06732的博客
05-19 800
文本转视频工具-text2video：一键转换，让文字动起来 去发现同类优质开源项目:https://gitcode.com/ 随着数字化时代的到来，文本信息的传播越来越依赖于视觉化的呈现方式。本文将介绍一个开源项目——text2video，它能够将文本自动转换为视频内容，适用于多种场景，为信息传播带来了全新的视角。 项目介绍 text2video 是一个高效的文本转视频工具。用户只需输入文本，该...
爆火项目新玩法：AI绘画工具SD制作原创视频，快速涨粉秘籍，五天涨粉1W+，自媒体小白必备
m0_71744960的博客
05-17 860
今天要给大家带来一个超级有趣的项目——使用AI绘画工具Stable Diffusion（简称SD），制作热门美女跳舞视频的新技巧。
手把手教你 SD 动漫视频制作全流程
m0_58477260的博客
06-25 2082
最后在webui下面点击重组感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。
ComfyUI工作流 使用Molmo7BDbnb依据画面生成描述
Mr数据杨
07-06 5757
它的设计侧重于在资源受限的环境中实现高效运作，因此在实时场景中具有显著优势。虽然在生成的描述细节和精度上可能有所妥协，但其快速响应和较低的计算需求使其非常适合嵌入式设备和流媒体应用，尤其适用于需要快速反馈的任务。的特点在于其对存储和内存的优化，使得其可以在消费级硬件或资源有限的环境中运行，同时通过合理的量化技术，在性能与质量之间实现了较好的平衡。适合需要快速生成文本结果的任务，例如实时问答、内容生成等。该模型通过优化存储和计算效率，适合需要快速响应的任务，同时保持较高的文本生成质量。
ComfyUI工作流 使用LoadFlorence2Model依据画面生成描述
Mr数据杨
07-05 2967
是基于微软 Florence2 模型构建的一款强大的图像描述工具，以其卓越的多语言能力和跨领域表现而闻名。它通过大规模数据集的训练，具备处理多语言描述和复杂概念推理的能力，非常适合需要多语言环境支持或需要更深层语义解析的用户，特别是在国际化项目或需要深入理解图像内容的研究应用中表现优异。这些模型在存储需求、推理效率和精度表现上各有特点，能够满足从通用文本生成到文档问答、视觉描述生成等多样化的应用场景。这些模型涵盖了从通用基础模型到针对性优化的生成和问答任务，适用于多种硬件和应用场景。
手把手教你用SD做转绘视频
2401_84250575的博客
04-23 5896
所谓转绘视频，其实质就是将视频分切成序列帧，然后对序列帧做转绘，再将转绘后的序列帧合成为视频的一个过程。但如果是将每一帧都进行手工转绘处理，不仅工作量大，而且由于每一帧会存在差异，将导致最终合成的视频出现画面闪烁的情况。为解决这一问题，在SD中我们将引入Ebsynth这一工具。利用ebsynth将视频分切，然后提取视频主体动作幅度相近的帧作为关键帧，在SD中对这部分关键帧做转绘处理，用ebsynth渲染关键帧之间的过渡帧，最后将输出的所有帧合成为视频。
file2video:将任何文件转换为视频
03-12
File2Video 将任何文件转换为包含QR码的视频。 您可以将其上传到youtube，并将youtube用作无限存储空间。 输出视频大小可能比输入文件大150倍。 （如果您将视频上传到youtube并下载回去，则文件大小会减小。Youtube可以更好地压缩视频） 用法示例 首次安装要求 pip install -r requirements.txt 然后，您可以运行将文件转换为视频 python file2video.py test/test100k.txt out.mp4 您可以运行将其转换回文件 python video2file.py out.mp4 . 输出示例 笔记 如果收到诸如Could not find encoder for codec id 27: Encoder not found类的错误： Could not find encoder for codec id
txt2vid:文字转视频荣誉项目，包含TGAN，TGANv2和“创建您所讲的内容”的实现
03-29
txt2video 生成视频，其条件是使用GAN编写文本。 荣誉论文。 此实现包含以下书面实现： 创造你所讲的 GAN TGANv2 修改后两个以文本为条件。 文本使用Bi-LSTM编码，该Bi-LSTM已经过预训练以生成下一个标记-从内存上来说，该方法与“创建您要说的内容”相同。 另外，为了更有效地捕获鉴别器中的运动，还利用了非局部块（自我注意）。 引入了类似于StackGAN ++的条件信息。 。 对于鉴别器，我们比较两对： $ {（x_r，c_r），（x_f，c_r）} $ $ {（x_r，c_f），（x_f，c_r）} $ 对于生成器，我们仅比较上面的第一对。 x_r是真实视频 x_f是假视频 c_r字幕与视频正确关联 c_f的字幕与视频不相关 标准GAN损耗是首选的，因为1个判别步骤与1个生成器步骤。 另外，我通过以下方法对非相关性损失进行了实验： $（
text2video:该软件工具可将文本转换为视频，以提供更吸引人的学习体验
05-04
Text2Video 描述 Text2Video是一种软件工具，可将文本转换为视频，以提供更吸引人的学习体验。 我开始这个项目是因为在这个学期中，我被分配了许多阅读作业，并且在阅读长篇文章时感到沮丧。 对我来说，通过阅读学习一些东西非常耗时和精力。 因此我想，“如果有一种工具可以将文本转换成更具吸引力的内容（例如视频），那会不会改善我的学习体验？” 我进行了一些研究，发现许多文章和研究支持视频对许多人来说比文本更有效地学习，其中包括以下数据： 人脑处理视觉内容的速度比文字处理速度快60,000倍。 观看者保留了95％的视频消息，而阅读文本时保留了10％的消息。 65％的人认为自己是视觉学习者。 我创建了一个原型Web应用程序，该应用程序将文本作为输入并生成视频作为输出。 这是上的 。 我计划针对18至23岁的年轻大学生进一步开展该项目，因为根据我发现的调查，他们倾向于通过视
SD新插件，AI生成视频，动画和模特换装
HJS123456780的博客
03-30 1715
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
1分钟生成爆款风景视频，Stable Video Diffusion最简教程
CCEEHM的博客
01-03 3643
但相信随着视频生成式AI工具的快速发展，这些不用几个月都能快速突破，届时将进入人人都可以制作电影和短剧的时代，让我们拭目以待。
SDVideoCamera:仿抖音（视频录制、视频剪辑、视频合成）
得不到的永远是骚栋.
01-24 2591
闲话不多讲，先上项目Github传送门。 SDVideoCamera传送门 前言 又是好久没有更新博客了，哈哈哈，由于近来从公司离职，再加上近来要结婚的缘故，所以有大量充足的时间来整理以前写的一个仿写抖音录制的三方库。但是讲真的，写了将近一个月的时间，还有有很多细节没有实现，只是实现其核心功能，还是有很多地方可以优化的。另外抖音是使用FFmpeg来实现音视频处理的业务逻辑的，相比于AVFoundation，具有跨平台、执行效率高的特点。所以作为一个菜鸡，只能使用AVFoundation来实现视频处理了.
今日3款Stable Diffusion模型推荐，让你轻松成为AI作图大师！模型推荐系列
Misdirection_XG的博客
11-29 721
今天又给大家带了三款不错的模型推荐给大家，需要的朋友可以根据链接自行获取。今天给大家继续推荐三款AI作图模型。2024-03-17 今日3款模型推荐：1、类型 Checkpoint**推荐理由:**专门为生成人物照片而设计的。能够以惊人的逼真度创造出照片般真实的人物形象作品赏析：2、类型 Checkpoint**推荐理由:**一款非常灵活的模型，能够产生各种风格的杰出人物、风景、建筑等。作品赏析：3、Analog Madness - Realistic model 类型推荐理由。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr数据杨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值