【Torch】解决tensor参数有梯度，weight不更新的若干思路

### 如何在TensorFlow或PyTorch中计算损失函数的梯度 #### 在TensorFlow中计算梯度 为了在TensorFlow中计算损失函数相对于模型参数的梯度，可以利用`GradientTape`上下文管理器。此方法记录操作以便稍后自动微分。 ```python import tensorflow as tf # 定义变量w和b以及输入x与标签y w = tf.Variable(0.3, dtype=tf.float32) b = tf.Variable(-0.3, dtype=tf.float32) x = tf.constant([1.0]) y_true = tf.constant([0.0]) with tf.GradientTape() as tape: y_pred = w * x + b # 前向传播过程 loss = tf.reduce_mean(tf.square(y_pred - y_true)) # 计算均方误差作为损失函数 gradients = tape.gradient(loss, [w, b]) # 自动求导得到[w,b]对应的梯度 print(gradients) # 输出梯度值 ``` 这段代码展示了如何定义简单的线性回归模型，并使用`tf.GradientTape()`来跟踪前向传播中的运算，从而能够计算出关于权重`w`和偏置项`b`的梯度[^1]。 #### 在PyTorch中计算梯度 对于PyTorch而言，其动态图机制允许更灵活的操作。下面的例子说明了怎样创建张量、设置requires_grad=True属性以启用追踪历史记录的功能，进而完成同样的任务： ```python import torch # 创建可训练参数tensor对象 weights = torch.tensor([0.3], requires_grad=True) bias = torch.tensor([-0.3], requires_grad=True) input_data = torch.tensor([1.0]) target = torch.tensor([0.0]) output = weights * input_data + bias # 进行预测 loss_fn = (output - target).pow(2).mean() # MSE Loss function loss_fn.backward() # 反向传播计算梯度 print(weights.grad.data, bias.grad.data) # 打印weight和bias的梯度 ``` 这里的关键在于调用了`.backward()`来进行反向传播，之后可以直接访问各个叶子节点（即具有`requires_grad=True`标记的张量）上的`.grad`属性获取相应的梯度信息。