python中sigmoid指数溢出的解决方法

最新推荐文章于 2024-06-08 12:27:07 发布
原创 最新推荐文章于 2024-06-08 12:27:07 发布 · 2.5k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #神经网络

该博客讨论了在神经网络中sigmoid激活函数可能导致的指数溢出问题，并提出了一种解决方案。通过在分式中引入一个小值，可以避免溢出。文章详细介绍了如何使用numpy库在矩阵运算中实现这一优化，特别是在x值为负时，利用numpy.nonzero()函数获取坐标并分别计算正负部分，从而确保计算的稳定性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

作为神经网络中的激活函数

sigmoid(x)=\frac{1}{1+e^{-x}}

从整体来看，这个式子的值恒小于1，似乎没有溢出的风险，但是对于计算机来说，需要计算的每一个步骤都不溢出才行。

因此当x<0时，式e^{-x}可能发生指数溢出。

对此，可以对sigmoid函数分式上下同乘一个较小值，当x<0时且e^{-x}发生指数溢出时，这个较小值可以是e^{x}。

 因此sigmoid函数可以改写为

 

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python Sigmoid函数算法详解及源码
希望我的博客，能帮上你解决学习中工作中所遇到的问题
08-13 120
Sigmoid函数算法是一种常用的非线性函数，最常见的是Logistic Sigmoid函数。Sigmoid函数算法是一种常用的非线性函数，最常见的是Logistic Sigmoid函数。Sigmoid函数算法是一种常用的非线性函数，最常见的是Logistic Sigmoid函数。Sigmoid函数算法是一种常用的非线性函数，最常见的是Logistic Sigmoid函数。Sigmoid函数算法是一种常用的非线性函数，最常见的是Logistic Sigmoid函数。
sigmoid/softmax指数运算溢出问题的解决方法
haolexiao的专栏
07-16 3080
今天用tensorflow的代码的时候，看到了tensorflow中计算cross entropy方法的，不由得赞叹起来开发人员的巧妙构思。顺便捋了一下sigmoid/softmax指数运算溢出问题的解决方法。 sigmoid和softmax函数在计算中，都会用到指数运算e−xe^{-x}e−x或者exe^{x}ex，这个时候，如果前一步计算得到的xxx非常小或者非常大的时候，都有溢出的风险，同时在计算cross entropy的时候，也要考虑下溢出，因为如果softmax分子太小近似为0，前面取log.
解决sigmoid/softmax指数运算溢出问题及python实现
shiaiao的博客
10-18 6984
sigmoid/softmax指数运算溢出问题sigmoid/softmax指数运算溢出问题解决sigmoidsigmoidsigmoid函数溢出问题解决LR模型中计算cross entropy溢出问题解决softmaxsoftmaxsoftmax函数溢出问题参考 sigmoid/softmax指数运算溢出问题 sigmoid和softmax函数在计算中，都会用到指数运算e−xe^{-x}e−x或exe^{x}ex,如果在e−xe^{-x}e−x中xxx是一个很小的负数，如-128等，或者在e−e^{
解决对整个矩阵用sigmoid函数会溢出的问题
m0_70504687的博客
11-20 640
解决对整个矩阵用sigmoid函数会溢出的问题
机器学习——sigmoid函数溢出问题
Je_san的博客
03-29 1082
RuntimeWarning: overflow encountered in expdef sigmoid(z): def sigmoid(z): return 1.0 / (1 + np.exp(-z)) 改为 def sigmoid(z): #防止溢出 if z >= 0: return 1.0 / (1 + np.exp(-z)) else: return np.exp(z) / (1 + np.exp(z)) ...
sigmoid函数解决溢出_Pytorch学习之激活函数
weixin_39663593的博客
12-18 1251
1.定义：激活函数是神经网络中引入的非线性函数，用于捕获数据中的复杂关系。2.激活函数的一般性质：（1）单调可微（2）限制输出的范围（输入的数据通过神经网络上的激活函数控制输出数值的大小）（3）非线性3.常见的激活函数：（1）sigmoidsigmoid是最早使用的激活函数之一，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，用来做二分类，为每个类输出提供独立的概率。sigmoid的...
sigmoid函数溢出处理
Focus
07-27 5198
简介 在实现logistic regression算法的时候，发现sigmoid函数（下方函数）在输入的数是较小负数时，会出现溢出的情况。 σ(z)=11+e−z\sigma(z)=\frac{1}{1+e^{-z}}σ(z)=1+e−z1​ 解决方法 通过对正数和非正数分别计算来避免溢出。 def sigmoid(Z): # 解决溢出问题 # 把大于0和小于0的元素分别处理 # 原来的sigmoid函数是 1/(1+np.exp(-Z)) # 当Z是比较小的负数时会出现上溢
python中的sigmoid函数快捷
最新发布
03-27
好的，我现在需要帮助用户解决如何在Python中快速实现sigmoid函数的问题。首先，用户提到了使用numpy和scipy，所以我要考虑这两个库的相关函数。 根据引用[1]中的例子，用户展示了使用numpy的tanh函数和scipy....
防止sigmoid和tanh激活函数溢出的C++实现
concyclics的博客
05-02 1万+
引言 上一期，我们介绍了softmax函数的C++实现，但是考虑到sigmoid和tanh函数也是带eee的次幂，所以现在我们来考虑该函数的防止溢出实现。 sigmoid函数 原理 该函数的公式为： 11+e−x \frac{1}{1+e^{-x}} 1+e−x1​ 在x≥0x\geq 0x≥0的时候，e−x≤1e^{-x} \leq 1e−x≤1，不会溢出，但是在x<0x < 0x<0的时候，就有可能溢出了。所以在x<0x<0x<0时，我们可以做如下变换： 11+e−x
梯度消失、爆炸原因
rosefun96的博客
09-30 1万+
梯度消失经常出现，一是在深层网络中，二是采用了不合适的损失函数，比如sigmoid。梯度爆炸一般出现在深层网络和权值初始化值太大的情况下 1.深层网络角度 如果上一层梯度大于1，那么层数增多的时候，最终的求出的梯度更新将以指数形式增加，即发生梯度爆炸，如果上一层梯度小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度消失。 2.激活函数角度 如果使用sigmoid作为损失函...
DY溢出指数计算代码
12-17
用于计算DY溢出指数 Diebold F X, Yilmaz K. Better to give than to receive: Predictive directional measurement of volatility spillovers. International Journal of Forecasting, 2012, 28(1): 57-66.
sigmoid&softmax函数的数据溢出问题
weixin_44441131的博客
04-24 859
深度学习神经网络sigmoid函数溢出
十早韦的博客
01-14 5789
今天在学习神经网络的的正向推理处理时报出如下错误： 1.py:9: RuntimeWarning: overflow encountered in exp return 1.0/(1+np.exp(-x)) 我的sigmoid函数如下： def sigmoid(x): return 1.0/(1+np.exp(-x)) 参考了博客参考博客 考虑到numpy数组x中可能有绝对值比较大的负数...
【Python】使用numpy时警告：RuntimeWarning溢出报错的屏蔽方法
热门推荐
小白兔的窝
10-11 4万+
写sigmoid函数时候遇到溢出，屏幕打印一长串的RuntimeWarning，很难受。 尝试了try...except RuntimeWarning: pass。没用。 尝试了longfloat()函数包住变量，没用。 最后使用 python -W ignore::RuntimeWarning my_script.py 世界干净了！值得拥有！...
Sigmoid简单实现
qq_51783378的博客
06-08 367
Numpy整型数组向下截断问题。np.where()使用误区。
学习笔记：神经网络中的激活函数sigmoid函数如何避免overstack
小吴同学的博客
09-30 660
1,首先贴出sigmoid原始函数： # def sigmoid(x): # return 1 / (1 + np.exp(-x)) 问题： 因为当x为正整数的时候，exp(-x)很小，当x是一个非常小的负数时，exp(-x)会过大，导致溢出。 所以我们可以这样优化：对于负数，我们上下同时乘以exp(x)即可。 优化后的函数为： def sigmoid(x): if np.all(x) >= 0: return 1 / (1 + np.exp(-x)) else:
【Sigmoid函数指数运算溢出问题，tensorflow版本代码】
qq_32358329的博客
02-14 261
解决tensorflow中sigmoid函数溢出问题
人工神经网络之激活函数 -Sigmoid函数
春华秋实
07-05 1万+
Sigmoid函数      Sigmoid 是使用范围最广的一类激活函数，具有指数函数形状 。正式定义为： 代码： x=-10:0.001:10;  %sigmoid和它的导数 sigmoid=1./(1+exp(-x)); sigmoidDer=exp(-x)./((1+exp(-x)).^2); figure; plot(x,sigmoid,‘r‘,x,sigmoidDer,‘b-
RuntimeWarning: overflow encountered in exp
weixin_45742812的博客
04-17 6049
RuntimeWarning: overflow encountered in exp
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值