a-tour-of-pytorch-optimizers:在PyTorch中浏览不同的优化算法

PyTorch优化器之旅 在本教程的回购中，我们将介绍各种梯度下降优化算法，介绍它们的工作原理，然后在PyTorch（1.6或更高版本）中实现它们。 本教程针对那些了解梯度下降的主要概念的人-反复采取步骤以针对一组参数计算的损失函数的梯度方向-但不确定常见的优化算法如何工作。 也不需要反向传播的知识，我们需要知道的是，它是一种计算用于梯度下降的梯度的方法。 如果您需要重温以上两个概念中的任何一个，我建议您使用课程。 我们将介绍以下优化算法： 新元 新元势头强劲 阿达格勒 阿达达 RMSprop 亚当 将来可能会添加更多！ 最好通过链接在Jupyter的NBViewer中渲染笔记本，因为GitHub在笔记本中渲染方程式做得很差。 如果您发现任何错误或有任何反馈，请提交，我将尽快答复。 资源