激活函数总结

最新推荐文章于 2024-09-29 12:06:07 发布
最新推荐文章于 2024-09-29 12:06:07 发布
阅读量134 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39422563/article/details/89396640
本文深入探讨了常见的激活函数，包括sigmoid、tanh和ReLU的特点及应用。解析了它们的数学表达式，导数公式，以及在神经网络中的作用，如sigmoid函数的映射区间，tanh函数的对称性，ReLU函数的神经元激活特性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. sigmoid函数，tf.nn.sigmoid， 1 / (1 + exp(-x))
    在这里插入图片描述

    a = tf.constant([1.1, 2.1,3.1 ,4.1])
tf.nn.sigmoid(a) #[0.7502601, 0.8909032, 0.9568927, 0.9836975]
    1. 导数：S(x)’ = S(x) * (1 - S(x))
    2. 映射区间0~1， 对称， 单调

  2. tanh函数，tf.nn.tanh
    在这里插入图片描述

    b = tf.nn.tanh(a) # [0.8004991, 0.970452 , 0.9959493, 0.9994508]
    1. 导数：tanh(x)’ = 1 - tanh(x) ^ 2

  3. relu函数 tf.nn.relu
    在这里插入图片描述

    tf.nn.relu(a)
    1. 模仿神经元的行为，达到一定阈值神经元才会被激活，筛选出相关的神经元

  4. softsign

    tf.nn.softsigh(input)
    1. f(x) = x / (1+|x|)
东城地瓜
关注
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9245
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
激活函数的总结
ArinaY的博客
09-04 2003
激活函数的简要介绍
激活函数总结（三十）：激活函数补充(Logit、Softsign)
生活需要深度
08-05 916
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。Softsign 激活函数是一种平滑的非线性函数，类似于双曲正切（tanh）激活函数，但具有在输入接近零时的更大斜率。输出范围： Softsign 激活函数将输入映射到 [-1, 1] 范围内，可能不适用于所有问题，特别是需要输出范围在 [0, 1] 或其他不同范围的情况。导数的问题： 这个函数的导数存在问题，尤其是在接近 x=1 的情况下，导数可能变得非常大，可能会导致数值不稳定性。
激活函数总结（八）：基于Gate mechanism机制的激活函数补充(GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)
生活需要深度
08-02 1480
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6)。⊗ ⊗⊗ 运算是逐元素乘法。最后，对于文章中没有提及到的激活函数，大家可以通过评论指出，作者会在后续的文章中进行添加补充。
激活函数总结（四）：Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)
生活需要深度
08-02 2573
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。可在嵌入式上使用：swish非线性激活函数提高了检测精度，但不适合在嵌入式移动设备上使用，因为“S”型函数在嵌入式移动设备上的计算成本更高，求导较为复杂，在量化时计算较慢。在输入小于-1时，输出值将被固定为-1，在输入大于1时，输出值将被固定为1。非线性性：尽管HardTanh函数在输入在[-1,1]之间是线性的，但它在输入小于-1和大于1时是非线性的，因此可以引入一些非线性特性，有助于提高模型的表达能力。
神经网络的激活函数总结
08-13
激活函数在神经网络中具有重要的地位。在SIGAI之前的公众号文章“理解神经网络的激活函数”中，我们回答了3个关键的问题： 为什么需要激活函数？ 什么样的函数能用作激活函数？ 什么样的函数是好的激活函数？ 这篇文章从理论的角度介绍了激活函数的作用。承接上篇，在今天这篇文章中，SIGAI将为大家介绍当前深度学习中常用的一些激活函数，包括它们的工程实现。我们将以Caffe为例。
激活函数汇总
qq_59815419的博客
04-19 2056
特点：Softmax 函数可视为 Sigmoid 函数的泛化形式， 其本质就是将一个 K 维的任意实数向量压缩（映射）成另一个 K 维的实数向量， 其中向量中的每个元素的取值范围都介于 [ 0 ， 1 ] [0，1][0，1] 之间(可以理解为概率)。也就是说，相比于早期的激活函数，Softplus函数和ReLU函数更加接近脑神经元的激活模型，而神经网络正是基于脑神经科学发展而来，这两个激活函数的应用促成了神经网络研究的新浪潮。和 Tanh一样，它是反对称的、零中心、可微分的，值域在-1到1之间。
深度学习——激活函数总结
loveliuzz的博客
09-04 3617
        激活函数主要作用是：加入非线性的因素，以解决线性模型表达能力不足的缺陷，在整个神经网络里面起到至关重要的作用。因为神经网络的数学基础是处处可微的，所以选取的激活函数要能保证数据输入与输出也是可微的。在神经网络中常用的激活函数有Sigmoid、Tanh、ReLU、Softplus以及变种函数Noisy ReLU、Leaky ReLU、Elus、Swish等。 1、Sigmoid函数...
深度学习-激活函数总结
fzz97_的博客
03-16 408
主要介绍了激活函数的作用，以及sigmoid、tanh、relu等在内的常见激活函数的性质和优缺点。
常见激活函数总结
qq_32756029的博客
09-07 2736
常见激活函数总结。
常用激活函数总结
最新发布
m0_49866160的博客
09-29 2640
常见激活函数的总结
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值