多模态大模型（LMMs）与大语言模型（LLMs）的比较

已于 2025-02-26 23:32:06 修改
阅读量1.1w 收藏 39
点赞数 26
CC 4.0 BY-SA版权
分类专栏： 大模型理论和实战 文章标签： 人工智能 语言模型
于 2024-03-18 00:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zengzizi/article/details/136721890

大家好，我是大 F，深耕AI算法十年，互联网大厂技术岗。分享AI算法干货、技术心得。

欢迎关注《大模型理论和实战》、《DeepSeek技术解析和实战》，一起探索技术的无限可能！

前言

现在的大模型分为两大类：大语言模型（Large Language Models，简称LLMs）和多模态大模型（Large Multimodal Models，简称LMMs）。本文将从基础定义、输入数据、应用场景、训练过程这几方面讨论下两者的区别。

基础定义

  1. LLMs (Large Language Models, 大型语言模型) - 深度学习的应用之一，是基于深度学习的大规模机器学习模型，通常由数十亿到数万亿个参数构成，专门设计用于处理自然语言处理任务。这类模型通过在大型文本语料库上进行训练，学会理解语言的结构、语义、语境和语用等方面。
  2. LMMs（Large Multimodal Mod
了解本专栏 订阅专栏 解锁全文 超级会员免费看
一文看懂：多模态大模型（LMMs）与大语言模型（LLMs）的比较
大F子的智能小课
03-19 267
在人工智能领域，大模型的发展日新月异，如今主要分为两大类：大语言模型（Large Language Models，简称LLMs）和多模态大模型（Large Multimodal Models，简称LMMs）。LLMs专注于处理文本数据，在自然语言处理任务中表现出色；而LMMs则能够处理多种类型的数据，如文本、图像、音频和视频等，为更广泛的应用场景提供了可能。本文将从基础定义、输入数据、应用场景、训练过程等方面深入探讨两者的区别，帮助读者更好地理解这两种模型的特点和应用价值。
多模态大模型：技术原理与实战 多模态大模型对比
AI大模型应用之禅
07-07 1147
模态特征提取：利用特定的模态特征提取器（如卷积神经网络CNN、循环神经网络RNN、Transformer等）从原始模态数据中提取有意义的特征。模态融合：通过模态融合层将不同模态的特征整合在一起，形成统一的表示空间。常见的融合方法包括加权平均、注意力机制、交叉注意力、模态嵌入等。模态推理：在融合后的特征上进行推理，这一步可以是分类、回归或其他类型的预测任务。常用的方法有全连接层、注意力机制、决策树、随机森林等。决策输出：基于模态推理的结果作出最终决策或输出预测值。
多模态大语言模型的对比
wm199的博客
12-04 1825
常见的多模态视觉问答模型
多模态大模型 | 一文深入解析多模态大模型推理技术（非常详细）看这一篇就够了！
star_nwe的博客
06-20 913
目前基于RL的多模态reasoning工作围绕设计和训练流程展开，在适合推理的任务上RL表现很好，且有比较好的泛化性能。然而，对于无法设计metric的任务，就无法用现在GRPO进行优化，需要合适的reward model。并且，现有的工作主要聚焦于将GRPO应用于多模态场景，但缺乏对其作用机理的研究和认识，比如RL为什么相比SFT具备更强的泛化能力？这是一个值得探索的问题。
一文说清楚什么是多模态大模型，与大模型有什么区别
2401_85325726的博客
01-13 7521
多模态大模型（LMMs）是能够理解和处理各种输入形式的 AI 模型。这些输入包括各种“模态”，如图像、视频和音频。模态是 AI 模型的数据。LMMs 模仿了人类与世界互动的方式。一个多模态系统可以在多种模态下生成输入和处理输出。例如，Gemini，由google开发的一个语言模型，可以通过将其训练过程整合不同类型的数据（如文本、视频和音频）来在多种模态下生成输入和处理输出，从而以多模态的方式理解和生成内容。假设你有一个超级聪明的机器人助手，它是一个多模态大模型。
AI 大模型 | LLM 大型语言模型 VS 多模态模型
xxue345678的博客
05-15 2692
随着人工智能技术的迅速发展，AI 大模型已成为当前研究的热点。其中，大型语言模型（LLM）和多模态模型（MMM）是最受关注的两种模型。它们各有优势，并在不同领域展现出强大的潜力，本文将探讨大型语言模型与多模态模型的特点、应用场景以及未来发展趋势！
一文搞懂大语言模型如何进化为多模态大模型？
最新发布
2301_81940605的博客
07-25 822
传统的大语言模型（LLM）如GPT、LLaMA等主要处理文本序列，基于Transformer架构在自然语言处理任务上取得了巨大成功。
LEGEN平台：大型语言与多模态模型支持的人体化代理开放开发环境
12-02
内容概要：本文介绍了LEGEN（LEGENT Open Platform for Embodied Agents），这是一个开源平台，旨在促进基于大型语言模型（LLMs）和大型多模态模型（LMMs）的人体化代理的发展。LEGEN提供了一个互动的3D环境和友好的...
多模态和多模态大模型 (LMM)
m0_70839135的博客
08-12 1902
想象一个机器，它的工作就是从一堆预先设定的选项中，选择一个最合适的类别。但这种方法只在选项有限的情况下才行得通。之前的很多模型都受到这样的限制。比如，的模型只能在 1,000 个类别中选择，而JFT-300M的选择则为 18,291 个类别。这种方法的缺陷是，模型可能会受到类别的限制而无法给出丰富的回答，还限制了其零样本学习的能力。比方说，如果训练它只认识 10 种类别，那么当出现 100 种类别时，它就不知所措了。CLIP 已经发布 3 年了，而 Flamingo 也有将近 2 年。
多模态大模型评估新纪元:lmms-eval框架引领行业标准
步子哥的博客
07-27 589
在人工智能研究不断突破的今天,多模态大模型正引领着一场技术革命。然而,如何准确评估这些复杂模型的性能,成为了学术界和产业界共同面临的一大挑战。近日,一款名为lmms-eval的开源评估框架应运而生,有望为多模态模型评测树立新的行业标准。
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 3029
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
大语言模型与多模态模型比较
技术人集结地
05-17 1901
大语言模型（LLM）和多模态模型（LMM）在输入数据类型、模态融合技术、模型架构、训练范式、应用场景和关键技术挑战等方面存在显著差异。LLM专注于文本数据处理，适用于文本生成、机器翻译等任务，而LMM支持文本、图像、音频、视频等多种模态输入，能够实现跨模态理解和生成任务。LMM的架构设计通常采用多模块组合，如ViT处理图像和Transformer处理文本，并通过跨模态对齐技术统一特征空间。尽管LMM在处理复杂现实任务方面具有优势，但也面临模态对齐、计算效率和数据稀缺性等挑战。未来趋势包括架构统一化、增强推理
多模态大模型对比：DeepSeek、ChatGPT、豆包、Kimi、腾讯元宝的异同点及DeepSeek的优势分析
专注于编程、AI、人工智能等多个领域内容研究和分析
03-20 4499
DeepSeek由深度求索公司开发，专注于多模态大模型的研究与应用，支持文本、图像、语音等多种数据类型的处理。以高效、精准、低成本为核心优势，广泛应用于教育、医疗、金融等领域。ChatGPT由OpenAI开发，基于GPT系列模型，以强大的文本生成和对话能力著称。主要应用于聊天机器人、内容创作、代码生成等场景。豆包由国内某科技公司开发，专注于中文语境下的自然语言处理，擅长中文文本生成和情感分析。主要应用于社交媒体、电商客服等领域。Kimi。
大模型语言模型（LLM）和大型多模态语言模型（LMM）有什么区别？
Java癫疯的博客
10-08 1512
大模型语言模型（LLM）和大型多模态语言模型（LMM）有什么区别？
多模态大模型：技术原理与实战 国内外多模态大模型对比
AI大模型应用之禅
05-26 608
1. 背景介绍 随着人工智能技术的不断发展，多模态大模型已经成为近几年来最热门的研究方向之一。在大规模的数据集上训练的多模态大模型可以将多种不同类型的数据，如图像、文本、音频等进行融合，并在各种应用场景下取得了令人瞩目的成绩。本文将深入探讨多模态大模型的技术原理、实际应用场景以及未来发展趋势。 2. 核心
大模型 VS 大语言模型
cancer_s的博客
11-19 2645
最近很多朋友搞不懂大模型和大预言模型的区别，总是把大模型就认为是大语言模型。今天就用这篇帖子做一个科普。
lmms-eval 评测
01-16
### lmms-eval评估报告概述 lmms-eval的出现标志着多模态模型评估进入了一个新时代[^1]。这一工具提供了一套统一的标准来衡量不同类型的多模态学习模型的表现，从而提高了研究效率并促进了跨团队的合作与竞争。 #### 用户体验反馈 用户对于lmms-eval的整体评价积极正面。许多研究人员表示，这套新的评估体系使得比较各种模型变得更加直观简单，并且能够更好地识别出哪些特定领域内表现优异或是存在不足之处。此外，随着越来越多的研究人员参与到该平台上来开发新功能或改进现有算法，社区内的协作氛围也日益浓厚。 #### 技术细节与应用案例 具体来说，在实际操作过程中，lmms-eval通过一系列精心设计的任务来全面考察目标模型的各项技能。例如，在处理图像理解任务时，除了传统的分类准确性外，还会关注模型能否正确解释复杂的场景描述；而在自然语言处理方面，则会检验其是否具备足够的上下文感知能力和逻辑推理水平。这些细致入微的设计确保了最终得出的结果既具有广泛适用性又不失深度洞察力[^3]。 ```python # 示例代码展示如何使用lmms-eval库进行基本评估 import lmms_eval as le def evaluate_model(model, dataset): evaluator = le.Evaluator() results = evaluator.run_evaluation(model=model, data=dataset) return results['accuracy'], results['precision'] acc, prec = evaluate_model(my_multimodal_model, test_dataset) print(f"Accuracy: {acc}, Precision: {prec}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大F的智能小课

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值