BAGEL:Emerging properties in unified multimodal pretraining

https://zhuanlan.zhihu.com/p/1908306219678012787https://zhuanlan.zhihu.com/p/1908306219678012787

1.Introduction

学术模型与gpt-4o和gemini的区别在于:是否使用精心结构化的多模态交错数据进行扩展-整合文本、图像、视频和网络来源,我们的实验揭示了随着交错多模态预训练的扩展而出现的新特性。关于架构设计,我们的主要目标是最大化模型的容量,而不引入常见于先前模型的启发式瓶颈或任务特定约束,采用了Mixture of Transformer Experts(MoT)架构,总计14B,激活7B。</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值