遥感&深度学习入门实战教程｜补充篇②：激活函数全景图

在上一篇「PyTorch 入门必备」里，我们完成了最小线性回归。但仅靠线性模型，网络表达能力有限。
激活函数（Activation Function） 就是深度学习的关键，让神经网络具备了非线性建模能力。

🧩 为什么需要激活函数？

如果每一层都是线性变换（矩阵乘法 + 偏置），无论叠多少层，整体仍然等价于一次线性变换。
这意味着：

• 没有激活函数 → 多层网络和一层没区别；
• 有激活函数 → 网络能逼近任意复杂函数（通用近似定理）。

⚙️ 常见激活函数

1. Sigmoid

$$f(x)=\frac{1}{1+e^{-x}}$$

• 值域 (0,1)，形似 S 曲线
• 早期广泛使用，但梯度在大数值时接近 0 → 梯度消失问题

2. Tanh

$$f($$