分布式深度学习
关注
分享
扫一扫
文章平均质量分 89
Jie Ou
学习
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【分布式深度学习-文章阅读】GPipe: Efficient Training of Giant Neural Networksusing Pipeline Parallelism
1、这篇文章是近期大多数做分布式并行训练的 baseline之一 ；2、这篇文章侧重点就是model parallelism，往细了说就是layer parallelism，再通俗点就是，grouped layer parallelism；3、曾经最常用的是，data parallelism，但是随着transformer等大模型的出现，不用model parallelism基本上等于放弃研究了，所以model parallelism再次回归，然后大热。......原创 2022-08-15 10:52:31 · 1807 阅读 · 0 评论 -
【分布式深度学习 二】--- 分布式训练demo
【分布式深度学习 二】--- 分布式训练demo原创 2022-08-12 10:40:15 · 1114 阅读 · 0 评论 -
【分布式深度学习 一】--- 环境构建篇之基于物理机-手把手
分布式训练，从0开始搭建一个分布式训练环境原创 2022-08-09 17:35:17 · 926 阅读 · 1 评论