MM-LLMs: Recent Advances in MultiModal Large Language Models

最新推荐文章于 2025-07-03 19:05:15 发布
最新推荐文章于 2025-07-03 19:05:15 发布
阅读量760 收藏 8
点赞数 12
CC 4.0 BY-SA版权
文章标签： 语言模型 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136389420
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文详尽调查了MM-LLMs的发展，从模型架构、训练策略到SOTA模型的表现，探讨了未来的研究方向。通过对122个MM LLM的分析，揭示了提升模型性能的关键因素，并维护实时跟踪网站以跟进最新进展。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《MM-LLMs: Recent Advances in MultiModal Large Language Models》的翻译。

MM-LLMs：多模态大语言模型的最新进展

摘要

在过去的一年里，多模态大型语言模型（MM-LLM）取得了长足的进步，通过具有成本效益的训练策略，增强了现成的LLM，以支持MM的输入或输出。由此产生的模型不仅保留了LLM固有的推理和决策能力，而且还赋予了各种MM任务权力。在本文中，我们提供了一个全面的调查，旨在促进MM LLM的进一步研究。最初，我们概述了模型架构和训练管道的一般设计公式。随后，我们介绍了一个包含122个MM LLM的分类法，每个LLM都有其特定的配方。此外，我们回顾了选定的MM LLM在主流基准上的表现，并总结了提高MM LLM效力的关键训练配方。最后，我们探索了MM LLM的有希望的方向，同时维护了一个实时跟踪网站以了解该领域的最新发展。我们希望这项调查有助于MM LLM领域的持续发展。

1 引言

2 模型架构

3 训练管道

4 SOTA MM-LLMs

5 基线和性能

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

多模态系列-综述MM-LLMs: Recent Advances in MultiModal Large Language Models
lansebingxuan的专栏
03-28 1692
在过去的一年中，多模态大型语言模型（MM-LLMs）取得了实质性的进展，通过高效的训练策略，增强了现成的语言模型，以支持多模态输入或输出。由此产生的模型不仅保留了语言模型的固有推理和决策能力，还赋予了多样化的多模态任务。在本文中，我们提供了一份旨在促进进一步研究多模态大型语言模型的综合调查。首先，我们概述了模型架构和训练流程的一般设计公式。随后，我们介绍了一个包含122个多模态大型语言模型的分类体系，每个模型都具有其特定的公式。
【多模态大模型阅读笔记--1】多模态大模型入门，MLLM综述：MM-LLMs: Recent Advances in MultiModal Large Language Models
Mugi_jiang的博客
05-20 1470
- 归纳了现在多模态大模型的整体架构设计方向 - 提供了现有主流的 26 个多模态大模型 - 总结了提升多模态大模型性能的关键方法
MM-LLMs: Recent Advances in MultiModal Large Language Models MM-LLMs: 多模态大语言模型的新进展（一）
qq_55923034的博客
11-26 828
在过去的一年中，多模态大语言模型( MM-LLMs )取得了长足的发展，通过经济有效的培训策略，增加了现成的LLMs，以支持MM的输入或输出。由此产生的模型不仅保留了LLM固有的推理和决策能力，还赋予了MM任务多样化的能力。在本文中，我们提供了一个全面的综述，旨在促进MM - LLMs的进一步研究。首先，我们概述了模型架构和训练管道的一般设计公式。随后，我们介绍了一个包含126种MM - LLMs的分类学，每种MM - LLMs都有其特定的剂型。
多模态大语言模型调研《MM-LLMs: Recent Advances in MultiModal Large Language Models》简要介绍
qq_37261357的博客
04-03 1766
题目：MM-LLMs: Recent Advances in MultiModal Large Language Models论文：https://arxiv.org/pdf/2401.13601.pdf?项目主页：https://mm-llms.github.io/GPT诞生以来，一向以强大的自然语言处理能力而著称，人们试着将大型语言模型（Large Language Models，LLM）的强大推理和生成能力在除文本以外的模态数据上应用起来。例如图像、视频、音频、3D点云等。
MM-LLMs: Recent Advances in MultiModal Large Language Models MM-LLMs: 多模态大语言模型的新进展（二）
qq_55923034的博客
11-26 978
—腾讯人工智能实验室、日本京都大学、阿联酋穆罕默德·本·扎耶德人工智能大学2024.2发布在arxiv 2024.8 发表在《Findings of the Association for Computational Linguistics: ACL 2024》上，属于中科院2区太长不看版-AI总结：在LLMs出现之前，已有多次对传统多模态预训练（MM PT）的调查。这些模型由于端到端训练需要大量计算资源，且在指令跟随、上下文学习（ICL）、思维链（CoT）和交互能力等方面存在不足。
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-27 5015
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
多模态大模型（MM-LLMs）近期概述
qq_41458274的博客
07-30 1316
目的：MM-LLMs旨在减少计算费用并提高多模态预训练的效率, 因为从头开始训练时会产生大量的计算成本。挑战：如何有效地将LLM与其他模式的模型连接起来，实现协同推理是MM-LLM面临的核心挑战。焦点：多模态预训练(PT) + MM指令调优(IT)流程来优化模态之间的对齐并与人类意图对齐。
MM-LLMs ：多模态大语言模型综述
u014546828的博客
08-10 1545
在过去一年中，多模态大型语言模型（MM-LLMs）取得了显著进展，通过成本效益高的训练策略，增强了现成的LLMs（大型语言模型），以支持多模态输入或输出。本文旨在通过全面综述，促进MM-LLMs领域的进一步研究。最后，本文在探索MM-LLMs未来发展方向的同时，还维护了一个实时跟踪网站1，以关注该领域的最新进展。此外，本文还回顾了部分MM-LLMs在主流基准测试中的表现，并总结了增强MM-LLMs效能的关键训练策略。随后，本文引入了一个包含126个MM-LLMs的分类体系，每个模型都有其特定的设计公式。
腾讯发表多模态大模型最新综述，从26个主流大模型看多模态效果提升关键方法
夕小瑶科技说
01-29 1715
在腾讯 2024 数字科技前沿应用趋势中，强调了“通用人工智能渐行渐近，大模型走向多模态，AI智能体（Agent）有望成为下一代平台当下多模态大模型不仅仅是学界新宠，也是未来行业发展进步的一大方向，站在这篇综述的基础之上，期待我们可以更快更好的理解未来多模态大模型的发展，赶上这波通用人工智能的新浪潮！
综述 | 多模态 LLM，大模型的未来
idol24的博客
01-31 1679
本文来源 机器之心编辑部多模态大型语言模型进展如何？盘点 26 个当前最佳多模态大型语言模型。当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题。近日，腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布了一份综述报告，全面梳理了 MM-LLM 的近期进展...
腾讯多模态大模型最新综述，从26个主流大模型看多模态效果提升关键方法
weixin_43564920的博客
01-29 5366
在腾讯 2024 数字科技前沿应用趋势中，强调了“通用人工智能渐行渐近，大模型走向多模态，AI智能体（Agent）有望成为下一代平台当下多模态大模型不仅仅是学界新宠，也是未来行业发展进步的一大方向，站在这篇综述的基础之上，期待我们可以更快更好的理解未来多模态大模型的发展，赶上这波通用人工智能的新浪潮！
【LLM】多模态LLM综述MultiModal Large Language Models
发现问题，并解决问题，批判性思维
06-02 4213
note （一）现有的 MM-LLM 的趋势： (1)从专门强调 MM 理解对特定模态的生成的进展，并进一步演变为任何到任何模态的转换（例如，MiniGPT-4 → MiniGPT-5 → NExT-GPT）； (2) 从 MM PT 提升到 SFT，然后到 RLHF，训练管道进行连续细化，努力更好地与人类意图对齐并提高模型的会话交互能力（例如，BLIP-2 → InstructBLIP →DRESS）； (3) 实施多样化模态扩展（例如，BLIP-2 → X-LLM 和 InstructBLIP→X-In
【LLM安全】Privacy in Large Language Models: Attacks, Defenses and Future Directions（综述）
qq_43543209的博客
02-27 3809
SMPC协议优化( SMPC Protocol Optimization，SPO )是指利用先进的SMPC协议，在保持原有模型结构的同时，提升LLMs隐私保护推理的效率。隐私攻击的基本理念是，借助更强大的可访问性，攻击者有望恢复更多的敏感信息或获得对受害者LLMs更多的控制权。例如，在仅有黑盒模型访问的情况下，敌手可能会进行训练数据提取攻击，以恢复少量的训练数据。然而，保护LLMs隐私的一个主要挑战在于非线性操作所带来的限制，例如Softmax，GeLU，LayerNorm等，这些操作与SMPC不兼容。
BloomLLM: Large Language Models Based Question Generation Combining Supervised Fine-Tuning and Bloom
weixin_43961909的博客
11-08 818
自适应评估具有挑战性，而考虑各种能力水平及其关系则使其变得更加复杂。然而，人工智能 (AI) 的最新发展为解决这些相关问题提供了新方法。在本文中，我们介绍了 BloomLLM，这是大型语言模型 (LLM) 的一种新改编，专门设计用于根据布鲁姆修订分类法增强教育内容的生成。BloomLLM 通过提供有意义的、语义上相关的问题，在所有能力水平上都表现良好。它是通过解决基础 LLM 的挑战来实现的，例如缺乏层次的语义相互依赖性和幻觉增加，这通常会导致不切实际和不切实际的问题。
破译AI黑箱：如何用20行Python理解ChatGPT？
Ven%的博客
07-03 415
fill:#333;color:#333;color:#333;fill:none;现实问题构建参数化模型训练数据定义损失函数自动优化参数得到拟合函数解决新问题用数据自动寻找最优数学函数。更复杂的函数结构（深度神经网络）更庞大的训练数据更高效的优化算法实现了对现实世界复杂规律的建模能力。
自回归生成模型中的推理加速详解
最新发布
brucexia的专栏
07-03 682
在上一节中，我们详细讲解了自回归生成模型的原理与训练过程，揭示了训练环节的核心重要性。然而，在生成模型的全面实践中，更加关键的一步在于如何精妙地运用这些训练成熟的模型去执行实际的推理任务。而在此过程中，一个至关重要的考量因素，便是如何高效利用现有的设备和资源，以最优化的方式进行模型推理。在本节中，我们将聚焦于生成模型中的推理加速内容，深入探讨如何通过技术手段提升模型推理的速度与效率。
强化学习：Policy Gradients 学习笔记
只是个人学习笔记
07-01 1330
Policy Gradient（基于 Softmax 的策略梯度算法）是强化学习中的经典策略梯度方法，通过直接优化策略函数来最大化累积奖励。
Rust C++ OpenCV kafka-rs实践
keny-大成的博客
06-30 1189
本文摘要： Rust与OpenCV图像处理：涵盖基础操作（加载/显示/保存图像、灰度转换）、滤波增强（高斯模糊/Canny边缘检测/直方图均衡化）、特征检测（SIFT/ORB）及机器学习应用（人脸检测/K均值聚类），需搭配opencv库（v0.66+）。 Rust与Anaconda集成：通过pyo3调用Python科学计算库（如NumPy、scikit-learn），实现数值计算、可视化、模型部署及跨语言数据共享。 Rust自动化框架设计：包括异步任务调度、插件系统、配置热加载、分布式锁、状态机引擎等10个
跨域学习的多模态大模型
01-01
### 跨域学习的多模态大模型 #### 多模态大语言模型的发展趋势 近年来，随着人工智能领域内数据量的增长和技术的进步，多模态大型语言模型(MM-LLMs)得到了快速发展。这些模型能够处理来自不同源的数据并融合多种类型的输入，如文本、图像和音频等[^1]。 #### 技术挑战与解决方案 构建有效的跨域学习架构面临诸多挑战，其中包括但不限于如何有效地表示异构信息以及设计可以适应新任务而无需重新训练整个系统的机制。针对这些问题的研究提出了各种方法论上的改进措施，在保持原有性能的同时扩展到新的应用场景中去[^2]。 #### 实现案例分析 具体来说，《Attentive Multiview Text Representation for Differential Diagnosis》一文中介绍了一种用于差异诊断的方法，该方法通过引入注意力机制来增强对于不同类型视图间关系的理解能力；而在《MM-LLms:Recent Advances in MultiModal Large Language Models》则总结了一些最新的进展成果，并讨论了未来可能发展的方向。 ```python # Python代码示例：加载预训练好的多模态模型（假设使用transformers库） from transformers import AutoModel, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("model_name") model = AutoModel.from_pretrained("model_name") text_input = "example sentence" image_path = "./path_to_image.jpg" inputs = tokenizer(text_input, return_tensors="pt") outputs = model(**inputs) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值