MOE论文详解(1)-OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER

已于 2024-10-15 13:46:00 修改
阅读量1.9k 收藏 18
点赞数 27
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： 人工智能 机器学习 深度学习 pytorch
于 2024-10-15 06:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qinduohao333/article/details/142927539

1. 背景介绍

这是2017年Google Brain团队发表的一篇比较经典的论文, 可以做为MOE在大语言模型上应用的第一篇, MOE全称是混合专家(Mixture of Experts). 这里的每个Expert都是一个更小的神经网络, 比如最简单就是FC全连接网络, MOE整体不是一个完整的网络结构, 而是作为layer层嵌入到别的网络中.

首先介绍这篇论文的背景, 模型的学习能力强弱跟模型的参数量有关, 即模型越大参数量越多那么模型效果越好, 同时存在个问题就是按之前稠密模型的设计, 模型参数量越大计算量也越大, 计算越慢. 有没有一种方式既可以增大模型参数量又能使得计算量控制在一定范围内(对应有个名词叫条件计算conditional computation), 这就是这次论文讨论的重点. 本文中基于LSTM堆栈基础上应用了MOE结果使得参数量提升至137B大小, 相比之前模型容量提升了有1000倍, 但是计算量只增加了一少部分, 具体数据和效果看最后.

2. 网络介绍

一个完整的MoE由n个专家网络( $ E_1, …, E_n $, )和一个门控网络 G G G 组成. 每个专家网络定义为一样的前向网络结构, 参数不同, 接收相同大小的输入, 输出规模保持一致; 门控网络的输出是一个n维的向量, 用来表示选择对应的专家. 如图中所示, 分别以 G ( x ) G(x) G(x) 与 E i ( x ) E_i(x) Ei​(x) 做为门控网络的输出与第i个专家的输出, x x x 是输入, 最终输出 y = ∑ i = 1 n G ( x ) i E i ( x ) y = \sum^n_{i=1} G(x)_i E_i(x) y=∑i=1n​G(x)i​Ei​(x) . 门控网络输出 G ( x ) G(x) G(x) 是稀疏向量, 表示选择专家的权重, G ( x ) i = 0 G(x)_i=0 G(x)i​=0 时, 就不用计算 E i ( x ) E_i(x) E

最低0.47元/天 解锁文章

200万优质内容无限畅学
您的Mixture-of-Experts LLM：真正的“免费”嵌入模型
步子哥的博客
10-16 676
在大规模语言模型（LLMs）的世界中，嵌入质量是影响模型表现的关键因素之一。如今，随着技术的不断进步，Mixture-of-Experts（MoE）架构逐渐脱颖而出，成为了提升模型性能的“秘密武器”。就像是大厨在烹饪时，选择合适的调味料能让一道简单的菜肴变得美味可口，MoE同样通过动态路由专家的方式，使得模型在特定任务上表现得更加出色。
Mixture of Experts（MoE）学习笔记
南七小僧的学海无涯
04-23 317
第一个需要解决的问题，是MoE是什么？总体而言，根据MoE的发展、应用场景和使用目的，其可以被分为两个阶段：Deep Learning时代开始前，和Deep Learning时代后，主要区别在于MoE是否被作用在神经网络模型之上。
【论文阅读】MOE大模型里程碑《OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER》
qq_38142901的博客
04-27 813
已知神经网络处理信息的能力受限于模型参数,而条件计算可以在提升模型的能力的同时,让模型计算量不会成比例增长.但是条件计算策略会对模型算法与性能带来挑战(文中挑战性内容有说明).本文通过搭建可训练稀疏门控网络与上千个专家的moe方案解决了条件计算中的大部分挑战,实现了条件计算策略下的预期.同时本文通过语言翻译类任务的多项实验证明了该方案的有效性.本文核心的点是提出了稀疏门控网络,考虑负载均衡的两个辅助损失函数,以及在工程上并行等优化实现了137B的大模型,为后续moe在大模型中的应用奠定了基调.
【论文阅读】OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
qq_36643449的博客
03-10 5682
一、背景 神经网络的吸收信息的容量（capacity）受限于参数数目。 条件计算（conditional computation）针对于每个样本，激活网络的部分子网络进行计算，它在理论上已证明，可以作为一种显著增加模型容量的方法。 所以本文引入了稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts Layer），包括数以千计的前馈子网络。对于每一个样本，有一个可训练的门控网络（gating network）会计算这些专家（指前馈子网络）的稀疏组合。 二、模型结构 本文的条件
系统性介绍MoE模型架构，以及在如今大模型方向的发展现状
zenRRan的博客
01-08 4620
知乎：Verlocksss编辑：马景锐链接：https://zhuanlan.zhihu.com/p/6752162811 学习动机第一次了解到MoE（Mixture of experts），是在GPT-4模型架构泄漏事件，听说GPT-4的架构是8个GPT-3级别大小的模型以MoE架构（8*220B）组合成一个万亿参数级别的模型。不过在这之后开源社区并没有对MoE架构进行很多的探索，更多的工作还是...
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
06-23
神经网络吸收信息的能力受限于其参数的数量。在这篇论文中，我们提出一种新类型的层——稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts(MoE)），它能够在仅需增加一点计算的基础上被用于有效提升模型的能力。这种层包含了多达数万个前向的子网络（feed-forward sub-networks，被称为专家（expert）），总共包含了多达数百亿个参数。一个可训练的门网络（gating network）可以确定这些专家的稀疏组合以用于每一个样本。我们将这种 MoE 应用到了语言建模任务上——在这种任务中，模型能力对吸收训练语料库中可用的大量世界知识而言是至关重要的。我们提出了将 MoE 层注入堆叠 LSTM（stacked LSTM）的新型语言模型架构，得到的模型的可用参数数量可比其它模型多几个数量级。在语言建模和机器翻译基准上，我们在更低的成本上实现了可与当前最佳表现媲美或更好的结果，其中包括在 1 Billion Word Language Modeling Benchmark 上测得的 29.9 的困惑度（perplexity），以及在 WMT'14 En to Fr（英法翻译）和 En to De（英德翻译）上分别得到了 40.56 和 26.03 的 BLEU 分数。
【论文阅读】MOE，《OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER》
bylander的博客
04-23 1129
MoE这种方法很容易想象，因为人的大脑有类似的机制。人的大脑针对不同的任务，只有部分的神经元集群激发进行工作，大脑的不同区域有不同的分工。
【论文阅读 | MoE】Outrageously Large Neural Networks: The Sparsely-Gated Mixtured-of-Experts Layer
weixin_62100548的博客
08-30 1028
首次提出MoE专家概念的文章。
OUTRAGEOUSLY LARGE NEURAL NETWORKS
Buyi_Shizi的博客
01-03 1523
概述现在的CNN网络普遍都是做成通用分类网络，即一个网络要做很多种事物的分类和识别，但是仔细想想这样是不是真的合理，能不能设计一种网络，对一种输入用一种子网络去做，对另外一种输入就用另外一种子网络去做，这样做的好处就很明显，首先可以在显著增大网络规模的情况下，不会明显升高计算量；其次，我感觉这参数稀疏网络的实现方式。而在今年ICLR上，就有人提出这种网络结构OUTRAGEOUSLY LARGE NE
【大模型LLM面试合集】大语言模型架构_MoE论文
chen695969的博客
07-09 1397
神经网络的吸收信息的容量（capacity）受限于参数数目。条件计算（conditional computation）**针对于每个样本，​激活网络的部分子网络进行计算**，它在理论上已证明，可以作为一种显著增加模型容量的方法。在实际中，在牺牲少量计算效率的情况下，实现了1000 倍的模型容量（model capacity）的提升。引入了稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts Layer），包括数以千计的前馈子网络。
论文笔记｜OUTRAGEOUSLY LARGE NEURAL NETWORKS- THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
qq_40519226的博客
01-08 2264
论文阅读笔记，ICLR 2017的OUTRAGEOUSLY LARGE NEURAL NETWORKS- THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER，引入了稀疏门控专家混合层（MoE），由多达数千个前馈子网络组成。可训练的门控网络确定用于每个示例的这些专家的稀疏组合。
MoE 论文阅读OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
chumingqian的博客
12-18 1848
原文出处Moe，是Mixture-Of-Experts的缩写，可以在保证运算速度的情况下，将模型的容量提升>1000倍。MoE（Mixture of Experts）层包含一个门网络（Gating Network）和n个专家网络（Expert Network）。对于每一个输入，动态地由门网络选择k个专家网络进行激活。在具体设计中，每个输入x激活的专家网络数量k往往是一个非常小的数字。比如在MoE论文的一些实验中，作者采用了n=512，k=2的设定，也就是每次只会从512个专家网络中挑选两个来激活。
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer【小白读论文】
qq_46127363的博客
10-08 243
专家的混合就是整个模型。虽然引入的技术是通用的，但在本文中，我们重点关注语言建模和机器翻译任务，众所周知，这些任务受益于非常大的模型。门控决策可以是二元的、稀疏的、连续的、随机的或确定性的，人们提出了各种形式的强化学习和反向传播来训练门控决策。虽然原则上我们只要求专家接受相同大小的输入并产生相同大小的输出，但在本文的初步研究中，我们限制模型是具有相同架构的前馈网络的情况，但具有 单独的参数。遗憾的是，这样的模型打破了上一段中的卷积技巧，因为 MoE 在一个时间步的输入取决于 MoE 在前一时间步的输出。
MoE 系列论文解读：Gshard、FastMoE、Tutel、MegaBlocks 等
2401_84033492的博客
05-25 4570
之前的高性能分布式 MoE 训练系统主要是针对 Google 的硬件（TPU）和软件（Mesh TensorFlow），并且不向公众开放，针对 NVIDIA GPU 和 Pytorch 还没有相应方案。在 [2103.13262] FastMoE: A Fast Mixture-of-Expert Training System 中，作者提出 FastMoE，其是一个基于 Pytorch 的分布式 MoE 训练系统，并提供高度优化的高性能加速方案。
MoE经典论文简述
comli_cn的博客
12-27 468
以上总结了一下笔者在阅读 MoE 相关文献时印象较深的几篇文章，上述所阅读的文献主要与NLP相关的，其实 MoE 在各个领域中的应用已经十分广泛。比如Google提出的多模态MoE模型——LIMoE：另外，跟 MoE 的理念相关的还有很多有趣的工作，比如：MoE 的思想，其实十分符合 Google 提出的 Pathways 愿景，也更加符合通用人工智能的设计理念。虽然目前 MoE 的工作，多数都是开发“超级模型”，但是上面列举的一些工作也表明 MoE 的用途还有很多，可以启发很多方向上方法的改进。
混合专家模型（MoE）2022-2023顶会顶刊论文合集，包含算法、系统、应用3大类
学姐带你玩AI的博客
12-22 6726
是一种深度学习技术，它通过将多个模型（这些模型被称为"专家"）直接结合在一起，以加快模型训练的速度，获得更好的预测性能。这种模型设计策略在大模型中尤为重要，它可以解决大模型在训练时面临的一些问题。比如通过层之间的参数共享，MoE能够压缩模型大小；利用MoE的设计，可以扩大模型容量。目前，基于Transformer扩展的大模型是当前各种大模型的主干，MoE则是扩展Transformer的一种关键技术。在大模型已至瓶颈的现在，MoE技术的发展为如何降低大模型训练难度和推理成本等难题提供了新的解题思路。
MoE训练论文解读之Megablocks：打破动态路由限制
Kaiyuan_sjtu的博客
11-08 950
作者|方佳瑞（已授权）整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/653270049GPT-4用了Mixture-of-Experts（MoE）架构，引起了广泛关注。然而，MoE训练并不是一项简单的任务，它面临着一些主要的挑战和难点：1、动态路由限制：当前的框架对MoE层中的动态路由进行了限制，以满足现有软件和硬件的约束条件。用户必须在计算中选择d...
【大模型】MoE论文简单解读
最新发布
zkw54334的博客
05-15 1499
模型容量与条件计算神经网络对信息的吸收能力（即模型容量）受限于其参数总量。条件计算（Conditional Computation）通过为每个样本仅激活部分子网络，有效地提升了模型的表达能力。理论研究表明，这种方法在仅牺牲少量计算效率的前提下，可带来上千倍的模型容量提升。稀疏门控专家混合层（Sparsely-Gated MoE）为实现高效的条件计算，引入了稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts Layer）。该层由数千个前馈子网络（专家）组成。
MOE论文详解(3)-Switch Transformers
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
10-17 3887
Switch Transformers也是google在2022年发表的一篇论文, 该论文简化了MoE的路由算法, 减少了计算量和通信量; 第一次支持bfloat16精度进行训练. 基于T5-Base和T5-Large设计的模型在相同的算力下训练速度提升了7x倍; 同时发布了1.6万亿(1.6 trillion)参数的MoE模型，相比T5-XXL模型训练速度提长了4x倍.
moe论文
03-20
1. **"Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer"** - 这篇论文由 Google 提出，首次引入了稀疏门控混合专家层的概念，并展示了如何通过 MoE 架构显著提高神经网络的规模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MLTalks

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值