梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？

一、梯度下降法

梯度下降法是一种优化算法，用于训练机器学习和深度学习模型，以最小化损失函数并调整模型参数，使其逼近或达到最优解。它通过迭代地更新模型参数，沿着损失函数梯度的反方向移动，从而逐步接近最优解。

梯度下降法的基本思想是在每个步骤中，计算损失函数对于模型参数的梯度，然后按照梯度的反方向进行参数更新，使损失函数逐渐减小。这样的迭代过程将在参数达到某个停止条件或达到预定的迭代次数时停止。

梯度下降法的主要步骤如下：

1. 初始化参数： 首先，为模型的参数（权重和偏置）赋予初始值。

2. 前向传播： 使用当前参数进行前向传播，计算模型的输出。

3. 计算损失： 根据模型的输出和真实标签，计算损失函数的值，衡量模型预测的误差。

4. 计算梯度： 计算损失函数对于每个参数的偏导数，即梯度。梯度表示了损失函数在当前参数值处的变化率