超级会员免费看
本文介绍了NVIDIA的H100 GPU基于Hopper架构的性能提升，包括采用台积电4nm工艺、132个SM、800亿个晶体管，以及在内存系统、L2 Cache、Tensor Core等方面的增强。Hopper架构还引入了新的DPX指令集、Tensor Memory加速器和Thread Block Clusters线程层次结构，显著提高了矩阵计算性能和数据移动效率。此外，H100的Transformer Engine针对Transformer模型的计算进行了优化，整体性能相比A100有显著提升。
欢迎关注我的公众号 [极智视界]，获取我的更多经验分享
大家好，我是极智视界，本文分享一下 一文看透H100 Hopper架构的各种提升。
邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码和资源下载，链接：https://t.zsxq.com/0aiNxERDq
在 2022 年 3 月发布的 H100，应该算目前英伟达 GPU 的巅峰之作了，但仅限于目前的巅峰，下一代肯定会更强 (按 NVIDIA 的节奏，明年应该就会发布下一代)。但是就拿去年发布的 H100 和 2020 年发布的 A100，对于咱们来说，那都是一个 "遥遥领先"（还是习惯听余大嘴说这个词）。从 A100 Ampere 架构发布到现在，已经过去三年了，情况依旧如此，想想还是想当可怕的。
"以史为鉴，可以知兴替；以人为鉴，可以明得失"，对于 GPU 的最新架构，特别是 H100 的 Hopper 架构、A100 的 Ampere 架构，咱们肯定是需要去好好学习一下的。
这里就来介绍一下 H100 Hopper 架构的各种提升。
下面是 H100 的产品图，
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
