【pytorch】tensor的复制避坑；tensor.clone() & tensor.detach() 详解

tensor.clone() 和 tensor.detach() 1 tensor.clone() clone(memory_format=torch.preserve_format)→ Tensor 返回tensor的拷贝，返回的新tensor和原来的tensor具有同样的大小和数据类型。 原tensor的requires_grad=True clone()返回的tensor是中间节点，梯度会流向原tensor，即返回的tensor的梯度会叠加在原tensor上 >>> import t

pytorch tensor 中的 和 detach() 的用法在写代码时经常能见到通过 操作生成一个和原本 tensor 值相同的新 tensor为什么需要同时使用 和 ，接下来通过代码进行说明生成两个 tensor，并且求梯度 输出结果：可以看到 a, b 的梯度分别为 [2., 2.]，[1., 1.]使用 a_=a.detch() 脱离计算图在上面的代码中加上 并且使用 计算和 backward() 输出结果：此时 a 的梯度为 none，因为 生成了一个新的 tensor 并且从计算图

因此，如果想要创建一个新的张量，最好使用 tensor.clone().detach() 或者 tensor.detach().clone()，这样可以安全地复制一个共享计算历史的张量。这个警告信息是提示在构造新的张量时，推荐使用 sourceTensor.clone().detach() 或 sourceTensor.clone().detach().requires_grad_(True)，而不是使用 torch.tensor(sourceTensor) 的方式。目前可以正常训练，暂未修改代码。

需要注意 不能是源tensor的view，必须是重新开辟内存 不能还处于计算图中，需要隔离出来 https://blog.csdn.net/winycg/article/details/100813519

Pytorch中，tensor用作神经网络模型的输入输出以及参数的表示，类似于数组。类似于NumPy里的ndarrays，我个人感觉和matlab里的数组挺像的。

相同点：都是对Pytorch中tensor的复制。 区别： repeat_interleave()：在原有的tensor上，按每一个tensor复制。 repeat()：根据原有的tensor复制n个，然后拼接在一起。 具体实例： （主要通过对第一维度来说明函数） import torch a = torch.rand([3, 2]) # 对第一维度 print(a.repeat_interleave(2, dim=0)) print(a.repeat(2, 1)) # 对第二维度 print

pytorch中的张量复制方法repeat、repeat_interleave、tile

layer1_2=layer1_x.clone().detach().requires_grad_(True)

detach()函数可以返回一个完全相同的tensor,新的tensor开辟与旧的tensor共享内存，新的tensor会脱离计算图，不会牵扯梯度计算。此外，一些原地操作(in-place, such as resize_ / resize_as_ / set_ / transpose_) 在两者任意一个执行都会引发错误。clone()函数可以返回一个完全相同的tensor,新的tensor开辟新的内存，但是仍然留在计算图中。深拷贝会开辟内存，浅拷贝只拷贝指针不开辟内存（共享内存）。

torch.repeat_interleave()与 tensor.repeat()——数组的重复 torch.repeat_interleave() torch.repeat_interleave(input, repeats, dim=None) → Tensor 功能：沿着指定的维度重复数组的元素 输入： input：指定的数组 repeats：每个元素重复的次数，可以是张量或者是数组 dim：指定的维度 注意： 如果不指定dim，则默认将输入数组扁平化(维数是1，因此这时repeats必须

原来权重的存储指针会指向新得到的权重张量的存储区域；而使用 .copy_() 的话，仅仅是改变原来权重的值，存储区域则不发生改变。copy_()有利于降低运算。

repeat()函数需要写清楚各个维度要复制的次数。expand()函数要写清楚复制完后的维度是多少，且要复制的那个维度原先必须是1。

Tensor的创建 tensor() t=torch.tensor(a) a可以是列表，ndarray，tensor 对于ndarray和tensor来说，t是一个copy，对t的任何操作都不会影响原有数据。 随机 和numpy中随机语法类似 rand：在(0,1)的均匀分布中sample randn: 在N(0,1)的正态分布中sample Tensor的复制 t=tensor(a) ...