PyTorch的自动求导

1. 基本概念

1.1 requires_grad

  如果需要对某个张量进行求导,则在初始化时必须赋值requires_grad=True,例如

a = torch.tensor(2.3, requires_grad=True)

1.2 计算图

  在计算图中,数据用椭圆表示,加减乘除等操作用矩形表示。通过计算图将数据和操作表示成了二叉树结构。
在这里插入图片描述

1.3 叶子节点

  在计算图中,由用户自己创建的数据就叫叶子节点,比如上图的w, x, b,也可以说未经过计算得出来的数据就是叶子节点。可以用 a.is_leaf(注意是属性,而不是方法)判断是否为叶子节点。

print(a.is_leaf)

1.4 grad_fn

  z.grad_fn输出的是<AddBackward0 at 0x8ea34d2cd342>,表示的是z对应的直接操作运算

  tensor由某个操作获得,在PyTorch每个操作的反向传播函数是已经被定义好的,比如z是由add即加操作得到的,那么z.grad_fn得到的就是add函数的反向传播函数(求导函数)。注意我们的得到的是AddBackward0 后面有个0,说明一个计算图中可以出现很多次add,每个add的反向传播函数是不一样的。

1.5 next_functions

  z.grad_fn.next_functions 输出的是
(<AccumulateGrad at 0x7fb73c7cdad0>, 0L))
((<MulBackward0 at 0x7fb73c7cd7d0>, 0L),

  z是由add操作得到的,那么add操作的输入是b和 y,输出的就是b.grad_fn和y.grad_fn。

  AccumulateGrad是什么?a.grad是什么?为什么梯度要置0?
对于y.grad_fn我们可以知道MulBackward就是乘积操作对应的反向传播函数。

  b只是一个叶子结点,是一个Tensor,它的grad_fn即Accumlate_Grad表示这个b的导数是可积累的。比如你第一次方向传播一次,我们得出b的导数为3,即a.grad为3,但是你再求导一次,就会发现a.grad为6,这就是所谓的可累加。所以在Pytorch里面,每一个batch即每一次反向传播前都会把梯度下降即grad都置为0。

1.6 retain_graph=True backward()

  z.backward(retain_graph=True)

  z.backward()表示从z求出来的是z对各个变量的导数。

  retain_graph=True表示保存中间变量。比如我们计算z对w的导数发现导数就是y,注意这个y在我们上面举例的计算图中不是我们自己指定的,是中间求出来的,我们第一次z.backward()求z对w的导数会取到y的值。但是如果我们这次传播完立刻在想传播一次,那么就会报错,因为一次梯度玩会自动把中间的计算东西释放掉,也就是第二次传播时候就没有y了,除非你再前向传播一次。所以我们可以提前指定这个保证第一次传播完中间变量仍然存在。

1.7 hook函数

  非叶子节点的导求出来后会被释放,如果想看其导数,可以用autograd.grad或者hook函数。
在这里插入图片描述

2. 总结

  关于autograd,我们需要知道的就是我们可以在创建tensor的时候指定 requires_grad = True 使得可求导,然后在最终函数用 z.backward()。用a.grad查看导数(梯度)。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值