sigmoid、tanh和ReLU

最新推荐文章于 2025-06-16 08:53:43 发布
最新推荐文章于 2025-06-16 08:53:43 发布
阅读量879 收藏 1
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aspace123/article/details/87559179
本文深入探讨了常用激活函数sigmoid、tanh和ReLU的特点。sigmoid函数在两端饱和导致梯度消失，影响训练；tanh是对sigmoid的改进，范围在[-1,1]；ReLU函数线性、计算效率高，深层网络优势显著。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

sigmoid的缺点：

1.神经元接近0或1时会饱和，导致梯度消失。

2.sigmoid取值范围[0,1]，不是0中心的。影响反向传播时梯度下降的运作，梯度要么正数要么负数，权重更新Z字型下降，不过算是个小问题。

tanh是一个简单放大的sigmoid神经元，取值范围[-1, 1]

ReLU函数，公式为f(x) = max(0, x)

优点：

1.线性，收敛速度快。

2.不含指数运算等，节约计算资源。

 

层数越深，ReLU相对sigmoid和tanh的优势越明显

 

常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
深度学习激活函数可视化：tanh与relu的比较
.
03-19 1175
从上述两个函数的可视化结果可以看出，tanh函数和ReLU函数在激活响应的形状上有很大的不同。tanh函数的输出值在-1到1之间，而ReLU函数的输出值在0到正无穷之间。其中，tanh和relu是两种常用的激活函数，它们在神经网络中具有广泛的应用。例如，它们都是单调递增的函数，都可以提供非线性性，对于神经网络的训练都有着重要的作用。综上所述，tanh函数和ReLU函数是两种常见的激活函数，它们各自具有独特的特点和优势。增的函数，都可以提供非线性性，对于神经网络的训练都有着重要的作用。二、ReLU激活函数。
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）
showswoller的博客
04-29 8128
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）
神经网络之激活函数面面观
Leo的博客
01-27 3348
转载自： 【机器学习】神经网络之激活函数面面观 - 仙道菜 - 博客频道 - CSDN.NET http://blog.csdn.net/cyh_24/article/details/50593400 日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等等。不过好像忘了问自己一(n)件事： 为什么需要激活函数？激活函数都有哪些？都
激活函数-sigmoid、tanh、relu、softmax对比
最新发布
weixin_67868534的博客
06-16 1235
本文解析了神经网络激活函数的核心作用与选型建议。激活函数通过引入非线性特性使网络能学习复杂模式，其作用包括控制输出范围（如Sigmoid输出概率、ReLU过滤负值）和优化训练动态（缓解梯度消失）。常见激活函数分为饱和类（Sigmoid/Tanh）和非饱和类（ReLU/LeakyReLU），分别适用于不同场景：二分类输出推荐Sigmoid，CNN隐藏层优选ReLU，RNN适合Tanh。深层网络建议使用ReLU变体以避免梯度消失，资源受限时选择计算简单的激活函数。实际应用中需结合任务需求和数据特性进行实验验证。
深度学习——激活函数Sigmoid/Tanh/ReLU
zchang81的博客
04-18 8万+
一般情况下，使用ReLU会比较好 1、使用 ReLU，就要注意设置 learning rate，不要让网络训练过程中出现很多 “dead” 神经元； 2、如果“dead”无法解决，可以尝试 Leaky ReLU、PReLU 、RReLU等Relu变体来替代ReLU； 3、不建议使用 sigmoid，如果一定要使用，也可以用 tanh来替代。
神经网络激活函数--Sigmoid、Tanh、Relu、Softmax
qq_38480311的博客
01-18 3955
文主要总结了Sigmoid、Tanh、Relu、Softmax 四种函数；给出了函数的形式，优缺点和图像。
神经网络——激活函数
好记性不如烂笔头
09-07 2313
一、网络非线性因素的理解 二. 常见激活函数 三、这么多激活函数, 我们应该如何选择呢?
神经网络中常见的激活函数Sigmoid、Tanh和ReLU
CSBLOG的博客
11-30 1755
激活函数输出范围优点缺点应用场景Sigmoid(0, 1)输出具有概率意义梯度消失，非零中心化二分类问题的输出层，逻辑回归Tanh(-1, 1)零中心化，更好的梯度传播梯度消失隐藏层，RNN 中ReLU[0, +∞)避免梯度消失，计算简单，引入稀疏性死亡 ReLU 问题，非零中心化隐藏层，DNN、CNN、GAN。
文档：激活函数的比较和优缺点sigmoid tanh relu.pdf
11-10
本文将重点讨论三种常见的激活函数：sigmoid、tanh和ReLU，以及它们各自的优缺点和应用场景。 1. **sigmoid** 函数是一种S型曲线，其公式为`f(x) = 1 / (1 + e^(-x))`。它将实数值映射到(0,1)之间，常用于二分类...
matlab绘制激活函数sigmoid tanh，RELU LEAKYRELU
04-01
好的，我现在需要帮助用户在MATLAB中绘制sigmoid、tanh、ReLU和LeakyReLU激活函数的图像。首先，我得回忆一下这些激活函数的数学表达式，然后考虑如何在MATLAB中实现它们。 首先，用户提到了四个激活函数：sigmoid...
神经网络最全激活函数，包括sigmoid，tanh，ReLU，
06-23
本文将详细介绍标题和描述中提到的几种激活函数，包括sigmoid、tanh、ReLU以及ELU、PReLU和softplus等。 1. **Sigmoid函数**： Sigmoid函数是最早被广泛使用的激活函数之一，其公式为`f(x) = 1 / (1 + e^(-x))`。...
机器学习最常用的3种激活函数：Sigmoid、Tanh、Relu
sc179的博客
09-03 1万+
目录1 什么是激活函数2 为什么使用激活函数3 常用激活函数1 Sigmoid2 Tanh3 Relu 1 什么是激活函数 激活函数（Activation Function）在人工神经网络的神经元上运行，负责将神经元的输入映射到输出端。 如图，在神经元中，输入的 inputs 通过加权求和后，还被作用了一个函数，这个函数就是激活函数，引入激活函数是为了使神经网络模型具有非线性特性。 2 为什么使用激活函数 如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这
三种激活函数——Sigmoid,Tanh, ReLU以及卷积感受野的计算
Le0v1n 的博客
05-03 7299
1. 三种激活函数——Sigmoid、Tanh、ReLU讲解以及图像 2. 感受野计算公式推理以及例题
激活函数的选择，sigmoid/tanh/ReLU的比较
FJZ669的博客
04-01 5901
原文:https://www.cnblogs.com/makefile/p/activation-function.html#undefined©康行天下（只摘取部分内容） 激活函数选择 首先尝试ReLU,速度快,但要注意训练的状态. 如果ReLU效果欠佳,尝试Leaky ReLU或Maxout等变种。 尝试tanh正切函数(以零点为中心,零点处梯度为1) sigmoid/tanh...
探秘神经网络激活函数：Sigmoid、Tanh和ReLU，解析非线性激活函数的神奇之处
码上飞扬的博客
06-24 1456
Tanh函数的数学定义如下：从公式可以看出，Tanh函数的值范围在-1到1之间。与Sigmoid函数类似，当输入值趋向于正无穷大时，Tanh函数的输出值接近于1；当输入值趋向于负无穷大时，输出值接近于-1；当输入值为0时，输出值为0。ReLU函数的数学定义如下：从定义可以看出，当输入值𝑥x大于0时，ReLU函数的输出值等于输入值𝑥x；当输入值𝑥x小于等于0时，ReLU函数的输出值为0。换句话说，ReLU函数对于正数输入直接输出，对于负数输入则输出0。
Sigmoid,Tanh,Relu的区别
weixin_39306118的博客
05-19 696
https://www.jianshu.com/p/f86002b7fcc4 转载 https://www.cnblogs.com/hutao722/p/9732223.html
激活函数(sigmoid、tanh、ReLU、softmax)
热门推荐
tcn760的博客
04-07 10万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
激活函数ReLu、sigmoid、tanh的区别
YuanLuo0911的博客
08-11 8135
激活函数ReLu、sigmoid、tanh的区别 三种常见的非线性激活函数有：relu、sigmoid、tanh 对应的公式分别为： ReLu：y = max(0, x) ∀y∈(0,无穷)\quad\forall y\in\mathbb (0,无穷)∀y∈(0,无穷) sigmoid：y = 1/(1 + e-x) ∀y∈(0,1)\quad\forall y\i...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值