模型训练----对输入变量原地操作（inplace operation）报错

最新推荐文章于 2025-06-07 01:22:17 发布

雪豹不会梦到瑞克5

最新推荐文章于 2025-06-07 01:22:17 发布

阅读量353

点赞数

CC 4.0 BY-SA版权

分类专栏：动手学习深度学习文章标签：机器学习深度学习人工智能

本文链接：https://blog.csdn.net/szn1316159505/article/details/134202627

动手学习深度学习专栏收录该内容

37 篇文章

订阅专栏

文章讲述了在使用PyTorch进行深度学习时，遇到关于梯度计算的错误，原因在于对输入变量x进行了原地操作。通过设置检测异常选项并修改代码结构，解决了这个问题，即避免在forwardpass中直接修改原始值，而是存储在新变量中再进行后续处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

遇到报错one of the variables needed for gradient computation has been modified by an inplace operation。意思是对输入x原地操作（inplace operation），一个变量在反向传播过程中被修改了，而不是按照预期的版本（version 0）更新，导致梯度不正确。

使用这句代码定位报错位置

torch.autograd.set_detect_anomaly(True)

定位到报错后可以修改代码，这是我原来的forword代码，可以看到 x[i] = self.dilate_attention[i](qkv[i][0], qkv[i][1], qkv[i][2])这一句代码，将原来的x值原地替换，不能这样做

for i in range(self.num_dilation):
    x[i] = self.dilate_attention[i](qkv[i][0], qkv[i][1], qkv[i][2])
x = x.permute(1, 2, 3, 0, 4).reshape(B, H, W, C) #3,1,24,24,171-->1,24,24,513
x = self.proj(x)
x = self.proj_drop(x)

我们需要新建变量将这些值存起来最后赋值。新建一个列表，将值存入，最后使用cat统一（会丢失一个维度补上），然后就不报错了

x_i=[]
for i in range(self.num_dilation):
    x_i.append(self.dilate_attention[i](qkv[i][0], qkv[i][1], qkv[i][2]))
x =torch.cat(x_i,dim=0)#3,24,24,171
x = x.unsqueeze(1)#3,1,24,24,171
x = x.permute(1, 2, 3, 0, 4).reshape(B, H, W, C) #3,1,24,24,171-->1,24,24,513
x = self.proj(x)
x = self.proj_drop(x)