@开发者们：首发！PPIO上线百度文心4.5系列开源模型

PPIO派欧云

于 2025-06-30 11:22:06 发布

阅读量1.1k

点赞数 10

CC 4.0 BY-SA版权

文章标签：百度人工智能开源文心一言

本文链接：https://blog.csdn.net/bumblexbee/article/details/149018860

今天，PPIO首发上线百度文心4.5系列开源模型。

文心4.5系列开源模型共10款，涵盖了激活参数规模分别为47B和3B的混合专家（MoE）模型（最大的模型总参数量为424B），以及0.3B的稠密参数模型。

实验结果显示，该系列模型在多个文本和多模态基准测试中达到SOTA水平，在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果尤为突出。

如果你是 PPIO 新用户，前往官网填写邀请码【JMZ5F8】注册还可得 15 元代金券。此外，通过你的专属邀请码每成功邀请一位好友并完成实名认证，还可以额外获得 30 元代金券。

1. 模型技术优势

（1）多模态混合专家模型预训练

文心4.5系列开源模型通过在文本和视觉两种模态上进行联合训练，更好地捕捉多模态信息中的细微差别，提升在文本生成、图像理解以及多模态推理等任务中的表现。为了让两种模态学习时互相提升，该模型提出了一种多模态异构混合专家模型结构，结合了多维旋转位置编码，并且在损失函数计算时，增强了不同专家间的正交性，同时对不同模态间的词元进行平衡优化，达到多模态相互促进提升的目的。

（2）高效训练推理框架

文心4.5系列开源模型提出了异构混合并行和多层级负载均衡策略。通过节点内专家并行、显存友好的流水线调度、FP8混合精度训练和细粒度重计算等多项技术，显著提升了预训练吞吐。推理方面，文心4.5系列开源模提出了多专家并行协同量化方法和卷积编码量化算法，实现了效果接近无损的4-bit 量化和2-bit 量化。此外，还实现了动态角色转换的预填充、解码分离部署技术，可以更充分地利用资源，提升文心4.5 MoE 模型的推理性能。基于飞桨框架，文心4.5系列开源模型在多种硬件平台均表现出优异的推理性能。

（3）针对模态的后训练

为了满足实际场景的不同要求，文心4.5系列开源模型对预训练模型进行了针对模态的精调。其中，大语言模型针对通用语言理解和生成进行了优化，多模态大模型侧重于视觉语言理解，支持思考和非思考模式。每个模型采用了SFT、DPO或UPO（Unified Preference Optimization，统一偏好优化技术）的多阶段后训练。

2. 如何在 PPIO 使用百度文心4.5系列开源模型？

1.直接在模型广场体验

到 PPIO派欧云官网注册后，找到模型广场下的百度文心4.5系列开源模型直接进行体验。

2. 在第三方平台上集成

除了在自己开发的应用程序中集成 API ，你也可以直接通过第三方应用来调用 PPIO API 的能力。目前 PPIO 支持在 20+ 主流平台中调用平台模型，具体包括：

通用对话客户端：CherryStudio、Chatbox、LobeChat、Nextchat、ChatHub
通用AI助手：OpenManus、UI-TARS
代码开发工具：Cursor、CLINE
开发/ API 平台：Dify、OneAPI、RAGFlow、FastGPT
生产力套件集成：Word、WPS Office AI，这些是办公软件集成AI功能。
智能翻译工具：沉浸式翻译、欧路词典、流畅阅读、沉浸式导读。
知识管理工具：思源笔记、Obsidian、AnythingLLM

3. 在自己开发的应用程序中集成 API （针对开发人员）

通过 PPIO 的 API 接口，将百度文心4.5系列开源模型无缝集成到你的应用程序、工作流或聊天机器人。PPIO 提供多语言 SDK（cURL、Python、JavaScript 等）。

如果是单轮或多轮对话应用、轻量集成、普通 chatbot 项目，可直接调用 API。以 Python 为例：

from openai import OpenAI

base_url = "https://api.ppinfra.com/v3/openai"
api_key = "<您的 API Key>"
model = "baidu/ernie-4.5-300b-a47b-paddle"

client = OpenAI(
    base_url=base_url,
    api_key=api_key,
)

stream = True # or False
max_tokens = 1000

response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    extra_body={
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

主要特点：