一个不怎么正经的算法工程师的博客~不定期更新一些我所覆盖领域的干货~~~包你满意噢~~

上述替代函数均具有平滑特性（如连续可导），通过 FGI 机制注入梯度后，可无缝替代传统 ReLU，使得网络在负激活区域仍能进行有效梯度传播，从而提升深层网络的训练效率与表达能力（如图 8 所示，不同替代函数在负区域的梯度曲线差异显著，但均能通过 SUGAR 框架实现梯度注入）。这些函数通过为负预激活值引入非零激活，提供了不同的权衡。具体而言，通过 ** 前向梯度注入（FGI）** 机制，将替代函数的梯度信息直接注入网络的前向传播过程，从而在保持 ReLU 非线性特性的同时，避免因负输入导致的梯度消失问题。