重磅，百度全面开源文心 4.5 系列模型

CSDN资讯

已于 2025-06-30 11:01:04 修改

阅读量3.3k

点赞数 25

CC 4.0 BY-SA版权

文章标签：百度开源文心大模型

于 2025-06-30 10:57:22 首次发布

本文链接：https://blog.csdn.net/csdnnews/article/details/149018361

6 月 30 日，百度正式宣布开源 ERNIE 4.5 即文心一言大模型 4.5 系列的 10 款模型，覆盖 47B 和 3B 激活参数的 MoE（混合专家）模型，以及 0.3B 参数的稠密模型，并实现了预训练权重 + 推理代码的完全开源。

文心大模型4.5系列开源模型👇

https://ai.gitcode.com/theme/1939325484087291906

在这里插入图片描述

文心4.5系列模型均使用飞桨深度学习框架进行高效训练、推理和部署。在大语言模型的预训练中，模型FLOPs利用率（MFU）达到47%。文心 4.5 系列模型在多个文本和多模态数据集上取得了 SOTA 的性能，尤其是在指令遵循、世界知识记忆、视觉理解和多模态推理方面。模型权重按照Apache 2.0协议开源，支持开展学术研究和产业应用。此外，基于飞桨提供开源的产业级开发套件，广泛兼容多种芯片，降低后训练和部署门槛。
在这里插入图片描述

ERNIE 4.5 技术亮点

ERNIE 4.5 系列模型优越的性能主要来源于以下几个关键技术点：

多模态混合专家模型预训练：文心4.5 通过在文本和视觉两种模态上进行联合训练，更好地捕捉多模态信息中的细微差别，提升在文本生成、图像理解以及多模态推理等任务中的表现。为了让两种模态学习时互相提升，我们提出了一种多模态异构混合专家模型结构，结合了多维旋转位置编码，并且在损失函数计算时，增强了不同专家间的正交性，同时对不同模态间的词元进行平衡优化，达到多模态相互促进提升的目的。
高效训练推理框架：为了支持文心4.5 模型的高效训练，我们提出了异构混合并行和多层级负载均衡策略。通过节点内专家并行、显存友好的流水线调度、FP8混合精度训练和细粒度重计算等多项技术，显著提升了预训练吞吐。推理方面，我们提出了多专家并行协同量化方法和卷积编码量化算法，实现了效果接近无损的4-bit 量化和2-bit 量化。此外，我们还实现了动态角色转换的预填充、解码分离部署技术，可以更充分地利用资源，提升文心4.5 MoE 模型的推理性能。基于飞桨框架，文心4.5 在多种硬件平台均表现出优异的推理性能。
针对模态的后训练：为了满足实际场景的不同要求，我们对预训练模型进行了针对模态的精调。其中，大语言模型针对通用语言理解和生成进行了优化，多模态大模型侧重于视觉语言理解，支持思考和非思考模式。每个模型采用了SFT、DPO或UPO（Unified Preference Optimization，统一偏好优化技术）的多阶段后训练。

性能和基准测试结果

ERNIE-4.5-300B-A47B-Base 在 28 个基准测试中的 22 个超越了 DeepSeek-V3-671B-A37B-Base，在所有主要能力类别中均有领先的表现。相对于其他SOTA模型，在泛化能力、推理和知识密集型任务方面的显著提升。ERNIE-4.5-21B-A3B-Base 总参数量为 210 亿（约为 Qwen3-30B 的 70%），在包括 BBH 和 CMATH 在内的多个数学和推理基准上效果优于 Qwen3-30B-A3B-Base。尽管ERNIE-4.5-21B-A3B-Base 更小，但模型效果突出，实现了效果和效率的平衡。

经过后训练的 ERNIE-4.5-300B-A47B 模型，在指令遵循和知识类任务方面表现出显著优势，其在 IFEval、Multi-IF、SimpleQA 和 ChineseSimpleQA 等基准测试中取得了业界领先的效果。轻量级模型 ERNIE-4.5-21B-A3B 尽管总参数量减少了约 30%，但与 Qwen3-30B-A3B 相比，仍取得了具有竞争力的性能。

在非思考模式下，ERNIE-4.5-VL 在视觉感知、文档与图表理解以及视觉知识方面效果突出，在一系列基准测试中表现优异。在思考模式下，ERNIE-4.5-VL 不仅展现出比非思考模式更强的推理能力，还保留了非思考模式的强大感知能力。ERNIE-4.5-VL-424B-A47B 在各种多模态评估基准中均取得了突出效果。其思考模式在 MathVista、MMMU 和 VisualPuzzle 等高难度基准上具有明显优势，并在以感知为主的数据集（如 CV-Bench 和 RealWorldQA）上保持了不错的效果。尽管使用显著少的激活参数，轻量级视觉语言模型 ERNIE-4.5-28B-A3B 在大多数基准测试中，相较于 Qwen2.5-VL-7B 和 Qwen2.5-VL-32B，效果相当甚至更优。此外，文心4.5轻量级模型也同时支持思考和非思考两种模式，提供了与 ERNIE-4.5-VL-424B-A47B 一致的功能。