前馈神经网络--常见激活函数之Swish

最新推荐文章于 2025-07-09 16:59:54 发布

_苏沐

最新推荐文章于 2025-07-09 16:59:54 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：深度学习

本文链接：https://blog.csdn.net/weixin_43786143/article/details/114906046

深度学习专栏收录该内容

4 篇文章

订阅专栏

本文介绍了Swish激活函数的数学表达式及其特性。Swish函数是介于线性函数与ReLU函数之间的平滑函数，其表达式为y=x⋅sigmoid(βx)。通过调整参数β，Swish函数可以在不同形态间变化，包括线性函数和ReLU函数。Swish函数具有下界无上界的特点，是非单调且平滑的。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Swish激活函数

函数表达式:

y = x⋅sigmoid(βx)

代码实现及可视化

import numpy as np

def sigmoid(x):
    a = np.exp(x)
    ans = a / ( a + 1)
    return ans

def swish(x,B):
    return x * sigmoid(B * x)

import matplotlib.pyplot as plt
c = ['k','r','b','m','g','c']
X = np.linspace(-5, 5, 20)
B_li = [0,0.1,0.5,1,50,100]
plt.figure()
for i in range(6):
    Y = list()
    for k in X:
        Y.append(swish(k,B_li[i]))
    plt.plot(X,Y,c[i])
plt.title('Swish_Image')
plt.xlabel('x')
plt.ylabel('y')
plt.legend(B_li)
plt.show()

在这里插入图片描述
当β取不同的值时，函数图像如上图所示
当β = 0时，Swish激活函数变为线性函数 f(x) = x/2,
当β = ∞时，Swish激活函数变为0或x，相当于Relu，
Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。
(它的求导我有一些看不懂……)
在这里插入图片描述