pytorch节省显存小技巧

最新推荐文章于 2025-06-28 18:54:53 发布
原创 最新推荐文章于 2025-06-28 18:54:53 发布 · 4.4k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch

本文分享了使用PyTorch进行文本多分类时遇到的显存溢出问题及解决策略，包括inplace操作、float16混合精度计算、模型拆分及checkpoint特性，有效降低显存消耗。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用pytorch进行文本多分类问题时遇到了显存out of memory的情况，实验了多种方法，主要比较有效的有两种：
1、尽可能使用inplace操作，比如relu可以使用inplace=True
进一步将BN归一化和激活层Relu打包成inplace，在BP的时候再重新计算。
代码与论文参考
mapillary/inplace_abn
efficient_densenet_pytorch
效果：可以减少一半的显存
原理：
在大多数的深度网络的前向传播中，都有BN-Activation-Conv这样的网络结构，就必须要存储归一化的输入和全卷机层的输入。这是有必要的，因为反向传播需要输入计算梯度。通过重写BN的反向传播步骤，使用ABN代替BN-Activation序列，可以不用存储BN的输入(可通过激活函数的输出即全卷机层的输入反推)，节省50%的显存。
2、使用float16精度混合计算，利用NVIDIA 的apex，也能减少50%的显存。但是有一些操作不安全如mean、sum等
官方代码参考
NVIDIA apex
3、pytorch1.0提供了模型拆分成2部分在2张卡上运行的方案
pytorch官网多卡例子
4、使用pytorch1.0的checkpoint特性，可以减少90%的显存
ckeckpoint通过交换计算内存来工作。而不是存储整个计算图的所有中间激活用于向后计算。ckeckpoint不会保存中间的激活参数，而是通过反向传播时重新计算他们。
具体可见我的GitHub一个文本分类项目
我的GitHub

pytorch gpu 版 Bert
东方佑
08-21 617
# -*- coding: utf-8 -*- """BERT-Torch Automatically generated by Colaboratory. Original file is located at https://colab.research.google.com/drive/1LVhb99B-YQJ1bGnaWIX-2bgANy78zAAt """ ''' code by Tae Hwan Jung(Jeff Jung) @graykode, modify by wmat
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch节省显存占用方法
dlhlSC的博客
06-21 2111
1-使用inplace操作 2-使用混合精度运算 参考： [1]混合精度训练 http://kevinlt.top/2018/09/14/mixed_precision_training/ [2]pytorch节省显存小技巧 https://blog.csdn.net/yangyang_yangqi/article/details/88051462 [3]Pytorch有什么节省内存...
解决 PyTorch CUDA out of memory 错误
最新发布
weixin_48473161的博客
06-28 1083
PyTorch的CUDA显存不足错误常见于深度学习开发中。文章详细解析了错误信息各部分的含义，并提出了系统解决方案：1）快速排查包括减小批次大小、清理僵尸进程；2）代码优化建议禁用梯度计算、手动内存管理；3）高级技术涉及梯度累积、混合精度训练和分配器调整。最后给出了从诊断到实施的工作流程，帮助开发者有效解决显存问题。
PyTorch 节省显存的策略总结
小白学视觉
12-14 281
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达来源丨https://zhuanlan.zhihu.com/p/430123077导读随着深度学习快速发展，同时伴随着模型参数的爆炸式增长，对显卡的显存容量提出了越来越高的要求，如何在单卡小容量显卡上面训练模型是一直以来大家关心的问题。本文结合 MMCV 开源库对一些常用的节省显存策略进行了简要分析。0 前言本文涉及到的 Py...
Pytorch有什么节省显存的小技巧
xiamu_CDA的博客
10-24 1044
通过以上20个小技巧，你可以在使用PyTorch时有效地节省显存，提高模型训练和推理的效率。显存管理是一个复杂的课题，需要结合具体的项目需求和技术背景来进行综合考虑。希望这些技巧能对你有所帮助。如果你对数据科学和机器学习感兴趣，不妨关注一下CDA数据分析师课程。CDA数据分析师课程提供了全面的数据科学培训，涵盖数据采集、数据处理、数据分析、机器学习等多个方面，帮助你全面提升数据科学技能。希望这篇文章对你有帮助！如果你有任何问题或建议，欢迎在评论区留言交流。
pytorch 显存自适应减少
using namespace 数学工具构造器;
06-07 720
pytorch在训练时，显存是只会增加不会减少的。如果要动态减少： torch.backends.cudnn.enabled = True torch.backends.cudnn.benchmark = True 不过这样做的后果就是训练会很慢，快赶上CPU的速度了 ...
Pytorch节省显存、加速训练的小技巧
huaxiaoxin1的博客
07-22 2881
Pytorch节省显存、加速训练的小技巧 2020.7.22 张文政 GPU是深度学习模型的关键，对GPU来说，最重要的两个指标就是显存与算力。如何在代码层面最大程度地节省显存、在算力固定的情况下更快地训练，是值得学习地。当然，APEX和多GPU训练可以显著地提升这两点，本文只介绍除了APEX和多GPU之外的其他的技巧。 使用4层编码，4层解码，8头注意力的transformer，优化器使用Adagrad，在生成任务上进行测试。初始时训练batchsize为16，占用显存12000MB；测试batchs
Pytorch节约显存的一些技巧1
08-04
因此，本文将探讨在不减少输入数据尺寸和Batch Size的情况下，如何优化PyTorch模型以节省显存。 首先，了解占用显存的主要部分： 1. **网络模型**：模型的参数层，如卷积、全连接和BN层，是主要的显存消耗者。非...
Pytorch释放显存占用方式
09-18
6. **使用`torch.no_grad()`上下文管理器**：在不需要梯度计算的代码块中使用此管理器，可以暂时关闭梯度计算，节省显存。 综上所述，PyTorch提供了多种手段来管理和释放显存，包括`torch.cuda.empty_cache()`、...
pytorch减少显存
08-17
- *1* *3* [PyTorch 轻松节省显存的小技巧](https://blog.csdn.net/lucifer479/article/details/125849933)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
【模型优化全攻略】：PyTorch显存与内存节约技巧揭秘
[【模型优化全攻略】：PyTorch显存与内存节约技巧揭秘](https://img-blog.csdnimg.cn/img_convert/c847b513adcbedfde1a7113cd097a5d3.png) # 摘要 本文针对深度学习中常见的显存与内存问题进行详细分析，重点探讨了...
pytorch 减小显存消耗，优化显存使用，避免out of memory
热门推荐
小小码农的博客
06-14 11万+
本文是整理了大神的两篇博客：如何计算模型以及中间变量的显存占用大小：https://oldpan.me/archives/how-to-calculate-gpu-memory如何在Pytorch中精细化利用显存：https://oldpan.me/archives/how-to-use-memory-pytorch还有知乎中大神的解答：https://zhuanlan.zhihu.com/p/3...
pytorch减少显存使用
qq_30125323的博客
07-29 1493
transpose占用大量显存 通常transpose(),permute()会改变tensor的结构，需要使用.contiguous()将内存转换为连续的。估计pytorch为了加快计算速度，使用了占用大量显存的运算方式，开辟出新的显并进行赋值。对这些函数进行修改可以减少大量显存： 将tensor分为多个batch，分别进行transpose b,c,h,w = out.shape # transpose dimension (1,2): bxcxhxw -> bxhxcxw. batchsize=
Pytorch显存动态分配规律探索
https://www.cnblogs.com/qizhou/
11-16 432
　　下面通过实验来探索Pytorch分配显存的方式。 实验 显存到主存 　　我使用VSCode的jupyter来进行实验，首先只导入pytorch，代码如下： import torch 　　打开任务管理器查看主存与显存情况。情况分别如下： 　　在显存中创建1GB的张量，赋值给a，代码如下： a = torch.zeros([256,1024,1024],device= 'cpu...
如何在Pytorch中精细化利用显存
LCCFlccf的博客
04-24 746
浅谈深度学习:如何计算模型以及中间变量的显存占用大小： https://oldpan.me/archives/how-to-calculate-gpu-memory 如何在Pytorch中精细化利用显存 https://oldpan.me/archives/how-to-use-memory-pytorch pytorch 减小显存消耗，优化显存使用，避免out of memory ...
【pytorch坑点】前向传播会不断积累显存占用，直到反向传播才会释放
NOVAglow646的博客
03-14 978
如果多次进行forward计算，而不进行backward，那么前向传播时产生的中间结果会一直积累在gpu中。
Visual Studio 2019 + LibTorch + CUDA11.6 环境配置
Xeon_CC的博客
08-28 2636
C++
Pytorch显存管理机制与显存占用分析方法
whaosoft143ai的博客
08-12 1685
我猜这样设计的目的是为了减少显存碎片，同时降低显存管理的复杂度。从理论上说，该 Segment 在分配后仍有 1MB 的空间等待继续分配，但如果显存管理机制将这 1MB 空间继续分配给其他 ≤1MB 的 tensor，那么在后续某个时刻当这 11MB 的 tensor 被删除，显存管理机制想要回收该 Segment 时，会由于该 Segment 被某些极小（相对 Segment 而言）tensor 部分占据而无法释放（显存释放见 2.2）。二次分配：将显存的申请与使用进行分离，即显存申请后会进行二次分配。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值