SwishGLU激活函数

SwishGLU 是一种激活函数，结合了 Swish 和 GLU（Gated Linear Unit）的特性。它通过引入门控机制来增强模型的表现，尤其是在处理复杂特征时。Swish 本身是一个平滑的激活函数，具有更好的性能，而 GLU 则利用门控结构来控制信息的流动。

SwishGLU 的实现可以分为几个步骤。首先，我们需要了解 Swish 和 GLU 的定义：

1. Swish 激活函数：
   $$\text{Swish}(x)=x\cdot \sigma (x)$$
   其中，$\sigma (x)$ 是 Sigmoid 函数。

2. GLU 激活函数：
   GLU(A,B)=A⋅σ(B) \text{GLU}(A, B) = A \cdot \sigma(B)