神经网络训练：从梯度下降到反向传播

### 神经网络训练：从梯度下降到反向传播 #### 1. 神经网络训练目标 神经网络函数 \(f_{\theta}(x)\) 用于近似函数 \(g(x)\)，即 \(f_{\theta}(x) \approx g(x)\)。训练的目标是找到参数 \(\theta\)，使得 \(f_{\theta}(x)\) 能最佳地近似 \(g(x)\)。我们先学习如何使用梯度下降（GD）算法训练单层网络，然后借助反向传播（BP）算法将其扩展到深度前馈网络。 需要注意的是，神经网络和其训练算法是两个独立的部分。虽然可以用其他方法调整网络权重，但 GD 和 BP 是目前最流行且高效的方法，也是实际应用中常用的方法。 #### 2. 梯度下降（GD） 在本节中，我们使用均方误差（MSE）成本函数来训练简单的神经网络。MSE 用于衡量网络输出和所有训练样本的训练数据标签之间的差异（即误差），公式如下： \[J(\theta) = \frac{1}{2n} \sum_{i=1}^{n} (f_{\theta}(x^{(i)}) - t^{(i)})^2\] 下面来分析该公式的各个组成部分： - \(f_{\theta}(x^{(i)})\)：神经网络的输出，其中 \(\theta\) 是所有网络权重的集合。在本节中，我们用 \(\theta_j\) 表示单个权重。 - \(n\)：训练集中样本的总数。 - \(x^{(i)}\)：训练样本的向量表示，上标 \(i\) 表示数据集中的第 \(i\) 个样本。由于 \(x^{(i)}\) 是向量，下标用于表示向量的各个分量，例如 \(x_j^{(i)}\) 是第 \(i\) 个训练样本的第 \(j\) 个分量。 - \(t^{(i)}\)：与训练样本 \(x^{(i)}\) 关联的标签。 在这个例子中我们使用 MSE，但实际应用中还有其他类型的成本函数。 GD 算法的执行步骤如下： 1. **初始化网络权重**：将网络权重 \(\theta\) 初始化为随机值。 2. **迭代更新权重**：重复以下步骤，直到成本函数 \(J(\theta)\) 低于某个阈值。 - **前向传播**：使用上述公式计算训练集中所有样本的 MSE \(J(\theta)\) 成本函数。 - **反向传播**：使用链式法则计算 \(J(\theta)\) 关于所有网络权重 \(\theta_j\) 的偏导数（梯度）： \[ \frac{\partial J(\theta)}{\partial \theta_j} = \frac{1}{n} \sum_{i=1}^{n} \frac{\partial f_{\theta}(x^{(i)})}{\partial \theta_j} [f_{\theta}(x^{(i)}) - t^{(i)}] \] - **更新权重**：使用这些梯度值更新每个网络权重： \[ \theta_j \leftarrow \theta_j - \eta \frac{\partial J(\theta)}{\partial \theta_j} = \theta_j - \eta \frac{1}{n} \sum_{i=1}^{n} \frac{\partial f_{\theta}(x^{(i)})}{\partial \theta_j} [f_{\theta}(x^{(i)}) - t^{(i)}] \] 其中，\(\eta\) 是学习率，它决定了优化器在训练过程中更新权重的步长。随着接近成本函数的全局最小值，梯度会变小，权重更新的步长也会更精细。 为了更好地理解 GD 的工作原理，我们以线性回归为例。线性回归相当于具有恒等激活函数 \(f(x) = x\) 的单个神经网络单元。具体步骤如下： - 线性回归函数表示为 \(f_{\theta}(x) = \sum_{j=1}^{m} x_j \theta_j\)，其中 \(m\) 是输入向量的维度（等于权重的数量）。 - MSE 成本函数为 \(J(\theta) = \frac{1}{2n} \sum_{i=1}^{n} ((\sum_{j=1}^{m} x_j^{(i)} \theta_j) - t^{(i)})^2\)。 - 使用链式法则和求和法则计算 \(J(\theta)\) 关于单个网络权重 \(\theta_j\) 的偏导数： \[ \frac{\partial J(\theta)}{\partial \theta_j} = \frac{1}{n} \sum_{i=1}^{n} (f_{\theta}(x^{(i)}) - t^{(i)}) x_j^{(i)} \] - 得到梯度后，使用学习率 \(\eta\) 更新权重 \(\theta_j\)。 然而，GD 可能会收敛到局部最小值，而不是全局最小值。为了缓解这个问题，我们可以采取以下方法： - **增加学习率 \(\eta\)**：即使 GD 向局部最小值收敛，较大的 \(\eta\) 可能帮助我们跳过鞍点，向全局最大值收敛。但风险是，如果 GD 正确地向全局最大值收敛，较大的学习率可能使其跳到局部最小值。 - **使用动量（Momentum）**：动量扩展了普通的 GD，通过结合先前权重更新的值来调整当前的权重更新。具体实现步骤如下： 1. 计算当前权重更新值 \(v_t\)，同时考虑前一次更新的速度 \(v_{t - 1}\)： \[ v_t \leftarrow \mu v_{t - 1} - \eta \frac{\partial J(\theta)}{\partial \theta_j} \] 其中，\(\mu\) 是范围在 \([0, 1]\) 的超参数，称为动量率。在第一次迭代时，\(v_t\) 初始化为 0。 2. 执行实际的权重更新： \[ \theta_j \leftarrow \theta_j + v_t \] 寻找学习率 \(\eta\) 和动量率 \(\mu\) 的最佳值是一个经验性的任务，它们可能取决于神经网络的架构、数据集的类型和大小等因素。通常，我们在训练开始时使用较大的 \(\eta\)，以便 GD 能在成本函数初始值（误差）较大时快速推进。当成本函数的下降开始趋于平稳时，我们可以减小学习率。此外，我们还可以使用自适应学习率算法，如 Adam。 我们之前介绍的 GD 是批量梯度下降，它会累积所有训练样本的误差，然后进行一次权重更新。这种方法适用于小数据集，但对于大数据集可能效率较低。在实际应用中，我们通常使用以下两种改进方法： - **随机（或在线）梯度下降（SGD）**：在每个训练样本后更新权重。 - **小批量梯度下降**：累积 \(k\) 个样本（称为小批量）的误差，并在每个小批量后进行一次权重更新。它是在线和批量 GD 的混合方法，在实际应用中，我们几乎总是使用小批量 GD。 以下是 GD 算法的执行流程： ```mermaid graph TD; A[初始化网络权重 \(\theta\) 为随机值] --> B{成本函数 \(J(\theta)\) 是否低于阈值}; B -- 否 --> C[前向传播：计算 \(J(\theta)\)]; C --> D[反向传播：计算梯度]; D --> E[更新权重 \(\theta\)]; E --> B; B -- 是 --> F[结束训练]; ``` #### 3. 反向传播（BP） 接下来，我们将学习如何结合 GD 和 BP 算法来更新多层网络的权重。这意味着要找到成本函数 \(J(\theta)\) 关于每个网络权重的导数。我们已经借助链式法则迈出了第一步： \[ \frac{\partial J(\theta)}{\partial \theta_j} = \frac{\partial J(f(\theta))}{\partial \theta_j} = \frac{\partial J(f(\theta))}{\partial f(\theta)} \frac{\partial f(\theta)}{\partial \theta_j} \] 在本节中，我们将进一步学习如何推导神经网络函数关于所有网络权重的导数，通过将误差梯度反向传播通过网络来实现。 为了简化问题，我们做以下假设： - 我们使用顺序前馈神经网络，即每个层从前一层获取输入，并将其输出发送到下一层。 - 定义 \(w_{ij}\) 为第 \(l\) 层的第 \(i\) 个单元和第 \(l + 1\) 层的第 \(j\) 个单元之间的权重。 - 用 \(y_i^{(l)}\) 表示第 \(l\) 层的第 \(i\) 个单元的输出，用 \(y_j^{(l + 1)}\) 表示第 \(l + 1\) 层的第 \(j\) 个单元的输出。 - 用 \(a_j^{(l)}\) 表示第 \(l\) 层的第 \(j\) 个单元的激活函数输入（即激活前的输入加权和）。 具体步骤如下： 1. 假设 \(l\) 和 \(l + 1\) 分别是倒数第二层和最后一层（输出层），则 \(J\) 关于 \(w_{ij}\) 的导数为： \[ \frac{\partial J}{\partial w_{ij}} = \frac{\partial J}{\partial y_j^{(l + 1)}} \frac{\partial y_j^{(l + 1)}}{\partial a_j^{(l + 1)}} \frac{\partial a_j^{(l + 1)}}{\partial w_{ij}} \] 2. 计算 \(\frac{\partial a_j^{(l + 1)}}{\partial w_{ij}}\) 时，在偏导数中，除 \(w_{ij}\) 外的所有函数参数都视为常数。因此，\(\frac{\partial a_j^{(l + 1)}}{\partial w_{ij}} = y_i^{(l)}\)。 3. 上述公式适用于网络中任意两个连续的隐藏层 \(l\) 和 \(l + 1\)。我们已知 \(\frac{\partial (y_i^{(l)} w_{ij})}{\partial w_{ij}} = y_i^{(l)}\)，并且可以计算 \(\frac{\partial y_j^{(l - 1)}}{\partial a_j^{(l - 1)}}\)（激活函数的导数）。我们只需要计算 \(\frac{\partial J}{\partial y_j^{(l + 1)}}\)，就可以从最后一层开始向后计算所有导数。 4. 根据链式法则，我们得到以下方程： \[ \frac{\partial J}{\partial y_i^{(l)}} = \sum_{j} \frac{\partial J}{\partial y_j^{(l + 1)}} \frac{\partial y_j^{(l + 1)}}{\partial y_i^{(l)}} = \sum_{j} \frac{\partial J}{\partial y_j^{(l + 1)}} \frac{\partial y_j^{(l + 1)}}{\partial a_j^{(l + 1)}} \frac{\partial a_j^{(l + 1)}}{\partial y_i^{(l)}} \] 5. 总结上述内容，我们有以下基本方程： \[ \frac{\partial J}{\partial w_{ij}} = \frac{\partial J}{\partial y_j^{(l + 1)}} \frac{\partial y_j^{(l + 1)}}{\partial a_j^{(l + 1)}} \frac{\partial a_j^{(l + 1)}}{\partial w_{ij}} \] \[ \frac{\partial J}{\partial y_i^{(l)}} = \sum_{j} \frac{\partial J}{\partial y_j^{(l + 1)}} \frac{\partial y_j^{(l + 1)}}{\partial y_i^{(l)}} = \sum_{j} \frac{\partial J}{\partial y_j^{(l + 1)}} \frac{\partial y_j