从零实现深度学习框架——Softmax回归中的数值稳定

引言

本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。
💡系列文章完整目录： 👉点此👈
要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不适用外部框架的前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。

在上篇文章中我们了解了逻辑回归中如何确保数值稳定，同样，Softmax回归也存在这个问题。

数值稳定的Softmax

我们先来回顾下Softmax函数的公式：
Softmax ( x i ) = exp ⁡ ( x i ) ∑ j = 1 n exp ⁡ ( x j ) (1) \text{Softmax}(x_i) = \frac{\exp(x_i)}{\sum_{j=1}^n \exp(x_j)} \tag{1}