cyy2learn的博客

论文相关资料 论文 Switch Transformer: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity 下载地址https://arxiv.org/pdf/2101.03961.pdf github 代码：https://github.com/tensorflow/mesh/blob/master/mesh_tensorflow/transformer/moe.py 论文解读 Introduction

本系列文章围绕以下几个主题来详细解读Transformer和BERT的原理和发展 Transformer 模型详解 Transformer在CV,NLP,推荐系统的发展与应用 BERT模型详解 BERT最新发展与应用 本篇文章：Transformer模型详解 整体结构 Encoder Decoder Positional Encoding Self Attention Add & Norm 1. 整体结构 Transformer主要由两大部分组成：Encoder &amp.