torch数组计算出现NAN

已于 2022-12-11 15:41:40 修改
阅读量1.6k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 胖琦的pytorch 文章标签： 深度学习 人工智能 计算机视觉
于 2022-12-11 15:24:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gray___/article/details/128275187

在torch中零除零不会报错，结果会是NaN。

比如

a = torch.tensor([0,0])

a/a

output: tensor([nan])

PS: 这个白痴问题我想了好久，最后还是靠print才解决。没想到这里是因为平常如果除零的话是会报错的，但是在numpy里会提醒，torch里不提醒。解决办法就是a.clamp(1e-4)

Torch 和 Numpy 出现NAN解决方法
Forrest97的博客
01-24 6796
在训练过程中，在确保数据没有异常的情况。由于自定义loss中出现了除数为0或对数为0的情况，导致无法计算得到数字就会得到NAN，然后loss.backward()就会导致整个网络的权重数值都变成NAN。直接导致网络无法计算。 所以在网络训练过程中需要对NAN进行检测和处理。 NAN检测 如果只是一个简单的标量，直接使用isnan进行判据 torch.isnan(loss) 如果只是一个相对复杂的矢量，则需要使用结合.int().sum()对nan进行计数，判据大于0 torch.isnan(loss).i
pytorch训练过程中出现nan的排查思路
上帝是个娘们的博客
12-11 2万+
最常见的就是出现了除0或者log0这种，看看代码中在这种操作的时候有没有加一个很小的数，但是这个数数量级要和运算的数的数量级要差很多。一般是1e-8。 在optim.step()之前裁剪梯度。 optim.zero_grad() loss.backward() nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) optim.step() max_norm一般是1，3，5。 前面两条还不能解决nan的话，就按照下面的流程来判.
pytorch训练出现nan是什么意思
夏目里奇的博客
01-05 1万+
1.背景 训练时忽然发现某几项loss变成了nan。 2.nan的含义 nan值在python往往可以直接与无穷大，无穷小等价。 常见根本来源： a/0 log(0) 空索引 第一个常见例子: loss/posnumloss / posnumloss/posnum，希望根据正例个数平分loss，却忽视pos_num可能为0，也就是图片中没有正例，常见解决loss/(0.0001+num)loss/(0.0001 + num)loss/(0.0001+num)或者if判断； 第二个常见例子：l
如何查找解决torch_lightning训练输出出现nan的问题
qq_43210957的博客
06-19 924
简单的bug解决方法
【解决方案】pytorch中loss变成了nan | 神经网络输出nan | MSE 梯度爆炸/梯度消失
记录学习痕迹的公众号：Piper蛋窝
06-29 1万+