深度学习优化器的演进与实践笔记

神经网络的训练过程离不开参数优化器的作用，而优化器的演化与发展历程是深度学习领域内一个重要的研究方向。从基础的随机梯度下降（SGD）到复杂的Nesterov Accelerated Gradient（NAG），再到自适应学习率方法如Adagrad、RMSProp/AdaDelta，直至现今广泛应用的Adam和Nadam，优化器的发展极大地提高了神经网络训练的效率和性能。接下来，我们将详细探讨这些优化器的核心概念、数学公式及其背后的工作原理。 1. 随机梯度下降（SGD）： SGD是最基础的优化算法，其核心思想是在每次迭代中计算损失函数关于模型参数的梯度，并用这个梯度来更新参数。数学公式通常写作： θ = θ - η * ∇θJ(θ) 其中，θ代表模型参数，η表示学习率，∇θJ(θ)表示损失函数J关于θ的梯度。SGD简单直接，但容易在训练过程中震荡，特别是在参数空间较为复杂的情况下。 2. 带动量的SGD（SGDM）： SGDM在SGD的基础上加入了动量（Momentum）的概念，旨在加速学习过程并减少震荡。动量方法通过积累梯度的历史信息，帮助模型在梯度较小的方向上继续前进，加快收敛速度。其更新公式如下： V(t) = β * V(t-1) + (1 - β) * ∇θJ(θ(t-1)) θ(t) = θ(t-1) - η * V(t) 这里，V表示梯度的指数加权平均值，β是动量参数，通常取值在0.8到0.99之间。 3. Nesterov Accelerated Gradient（NAG）： NAG是对SGDM的改进，它在梯度计算时使用参数的“预更新”值。这样做可以让梯度在接近最小值的地方更加准确，进一步提高学习效率。NAG的更新公式为： V(t) = β * V(t-1) + (1 - β) * ∇θJ(θ(t-1) - η * V(t-1)) θ(t) = θ(t-1) - η * V(t) 4. Adagrad： Adagrad优化算法利用历史梯度信息来调整每个参数的学习率。对于经常出现的特征，它会降低学习率；对于稀有特征，则提高学习率。这允许模型对稀疏数据进行有效的训练。Adagrad的更新公式为： θ(t) = θ(t-1) - (η / (√G(t) + ε)) * ∇θJ(θ(t-1)) 其中，G(t)是到时间t为止所有梯度的平方和。 5. RMSProp/AdaDelta： RMSProp和AdaDelta都是对Adagrad中学习率过早和过量减小的问题的回应。RMSProp通过引入一个衰减率来避免学习率缩减到过小的值，其更新公式为： θ(t) = θ(t-1) - (η / (√E[g^2](t) + ε)) * g(t) 其中，E[g^2](t)是梯度平方的移动平均，ε是为了数值稳定性的一个小常数。 6. Adam： Adam结合了Momentum和RMSProp的思想，通过维护梯度的一阶矩估计和二阶矩估计来动态调整每个参数的学习率。Adam的更新公式为： m(t) = β1 * m(t-1) + (1 - β1) * ∇θJ(θ(t-1)) v(t) = β2 * v(t-1) + (1 - β2) * (∇θJ(θ(t-1)))^2 θ(t) = θ(t-1) - (η / (√v(t) + ε)) * m(t) 其中，m和v分别是一阶和二阶矩估计，β1和β2是它们的衰减率。 7. Nadam： Nadam是Nesterov加速的Adam，它结合了NAG的优化思想和Adam的自适应学习率调整方法。通过使用NAG来更新参数，同时保留了Adam中一阶和二阶矩的估计，Nadam能够更有效地利用动量信息，公式为： θ(t) = θ(t-1) - (η / (√v(t) + ε)) * (β1 * m(t) + (1 - β1) * ∇θJ(θ(t-1))) 以上便是在优化器笔记-大毛.zip中可能提到的关于深度学习优化器的核心知识点，每个优化器都有其适用场景和优缺点，在实际应用中，选择合适的方法对提高模型性能至关重要。在深度学习模型的训练过程中，优化器的选择是影响模型收敛速度和最终性能的关键因素之一。因此，了解这些优化器的工作原理及其演化历史，有助于深度学习工程师更好地进行模型优化。