神经网络中的激活函数与损失函数&深入理解推导softmax交叉熵

最新推荐文章于 2025-07-04 16:05:44 发布
最新推荐文章于 2025-07-04 16:05:44 发布
阅读量2.5k 收藏 8
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 深度学习 知识整理-读书笔记 python 文章标签： 神经网络 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49374896/article/details/123153552
本文深入探讨了神经网络中的激活函数，包括sigmoid、softmax、ReLU和Tanh，并详细讲解了softmax交叉熵损失函数，重点阐述了softmax函数的优缺点及其在梯度计算中的重要性，以及损失函数的作用和计算过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

神经网络中的激活函数与损失函数&深入理解softmax交叉熵

前面在深度学习入门笔记1和深度学习入门笔记2中已经介绍了激活函数和损失函数，这里做一些补充，主要是介绍softmax交叉熵损失函数。

激活函数

sigmoid函数

神经网络中经常使用的一个激活函数就是sigmoid函数。

它的图像是：

sigmoid函数常用于回归问题。

softmax函数

image-20211231110201705

softmax函数的分子是输入信号ak的指数函数，分母是所有输入信号的指数函数的和。

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习中激活函数和损失函数
Elaboraty的博客
07-05 996
深度学习中常用的激活函数和损失函数 对于激活函数跟损失函数做一下记录，后面再看时也方便，可能有些图片搬运的各位大佬的，还请见谅。 激活函数 激活函数有很多，主要记录常用的和比较经典的一些，例如sigmoid、tanh、RELU及其变种。 首先说一下激活函数的作用，一般激活函数作用于神经网络中卷积层的后面，用来引入非线性因素，通过激活函数这种非线性函数来加强神经网络的拟合能力（不再单纯是线性函数了）。 Sigmoid函数 sigmoid函数是早期神经网络非常常见的一种激活函数，其数学表达式如下： Gamma
softmax交叉熵损失函数的深度理解
m0_61363749的博客
08-11 1972
最近拜读了一名优秀学者的博士毕业论文，深受启发。论文题目《基于深度学习的人脸认证方法研究》。损失函数是控制整个深度神经网络训练的中枢，该论文将深入探究了深度学习中的机理，并把之前广泛用于的和多种用于的改造得更加适合的训练。该论文对传统的 Softmax 交叉熵损失函数以及新提出的一系列改进进行了大量的理论分析，有别于传统理论更多的偏向概率解释，该论文中提出的理论分析大多是基于特征、权重之间的几何关系与统计量进行的，由于特征与权重相比于Softmax 概率更加底层，因此能够得到更多的数学结论。......
深度学习笔记(三)：激活函数和损失函数
热门推荐
Multiangle's Notepad
09-17 12万+
这一部分来探讨下激活函数和损失函数。在之前的logistic和神经网络中，激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。事实上，这两部分都有很多其他不错的选项，下面来一一讨论3. 激活函数和损失函数3.1 激活函数关于激活函数，首先要搞清楚的问题是，激活函数是什么，有什么用？不用激活函数可不可以？答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么
softmax函数介绍以及我在softmax函数求导中的疑惑
最新发布
weixin_38415589的博客
07-04 814
简要介绍softmax函数，以及softmax函数的导数，网上对于该函数求导过程的参考资料很多，但是对于softmax函数，为什么要分i=j和i≠j两种情况，我学习之初有些钻牛角尖，待我理解之后，我便有心按我的理解整理下来。
系列之7-激活函数
weixin_34270606的博客
11-15 309
全套教程请点击：微软 AI 开发教程 在这一章，我们将简要介绍一下激活函数和损失函数~ 激活函数 看神经网络中的一个神经元，为了简化，假设该神经元接受三个输入，分别为\(x_1, x_2, x_3\),那么\(z=\sum\limits_{i}w_ix_i+b_i\), 激活函数也就是\(A=\sigma(Z)\)这一步了，他有什么作用呢？ 从模仿人类大脑的角度来说： 神经元在利用突触传递信...
常见激活函数总结
m0_66890670的博客
10-07 2776
本文介绍了常见的激活函数，包括Sigmoid 函数，Tanh 函数，ReLU (Rectified Linear Unit)、Leaky ReLU、Parametric ReLU (PReLU)、Softmax 函数、Swish 函数、GELU (Gaussian Error Linear Unit)的详细定义，优缺点，python代码，并进行了对比分析
[深度学习基础]激活函数和损失函数
pipipapaboom的博客
11-29 4148
Sigmoid函数的图像如下图所示，其函数曲线在坐标轴上呈现"S"型，经典的S型分布是正态分布的累积分布函数，由于神经网络当中的变量、数据样本分布通常具有正态分布的特性，因此需要Sigmoid函数加入网络模型当中辅助神经网络更好地拟合数据分布。使用Sigmoid的另外一个原因在于该函数的值域为[0,1]，可以用于输出预测概率值。激活函数通常分为线性激活函数和非线性激活函数，因此激活函数的类型决定了网络该层的输出是线性的还是非线性的，并且激活函数的选择也对神经网络性能、模型收敛速率起到了很大的影响作用。
简单易懂的softmax交叉熵损失函数求导
绝望的乐园
09-20 7万+
来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的步骤就是求导，从这个过程也可以更深刻地理解反向传播的过程，还可以对梯度传播的问题有更多的思考。 softmax 函数 softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可...
sigmoid、softmax函数/交叉熵损失函数/二分类、多分类详细推导过程
PuJiang-的博客
08-23 3242
交叉熵损失函数、MSE、二分类、多分类
当使用Sigmoid或者Softmax作为激活函数时，损失函数推荐使用交叉熵损失函数而不是均方差损失函数
Robin_____的博客
03-31 2611
Sigmoid 函数形式 Sigmoid(x)=11+e−xSigmoid(x)=\frac{1}{1+e^{-x}}Sigmoid(x)=1+e−x1​ 函数图像 导数形式 Sigmoid′(x)=e−x(1+e−x)2=Sigmoid(x)(1−Sigmoid(x))Sigmoid'(x)=\frac{e^{-x}}{(1+e^{-x})^2}=Sigmoid(x)(1-Sigmoid(x)...
一文搞懂激活函数和损失函数（PyTorch）
m0_59163425的博客
03-24 1550
常见的激活函数有 Sigmoid、Tanh、ReLU 和 Leaky ReLU。）是什么？激活函数是神经网络中的非线性函数，用于在神经元之间引入非线性关系，从而使模型能够学习和表示复杂的数据模式。将输入值压缩到(0, 1)之间，常用于二分类问题的输出层。但存在梯度消失问题，且输出不以零为中心。
构建人工神经网络解决分类问题时，选取softmax激活+交叉熵损失函数组合详解
m0_51818101的博客
05-28 724
引例 引自知乎专栏：https://zhuanlan.zhihu.com/p/35709485 输入一个动物图像，来判别所属的动物类别，有三种可能，分别为猫、狗、猪。 我们想要通过构建人工神经网络去处理这个三分类问题，当从最后一层隐藏层向输出层前进时，这个时候我们得到了输出层的输入，我们采用softmax激活函数来获得输出层的输出。softmax激活函数本质上运用了机器学习中的逻辑回归算法。以该问题为例，x表示输出层获得输入，A1.A2.A3A_1.A_2.A_3A1​.A2​.A3​分别代表该图像是猫
softmax激活函数与softmax损失函数
weixin_44646187的博客
08-27 4959
解决办法是先对每个元素进行指数操作，全部转换为正数，然后再用刚才的方法得到每个类别的概率。softmax 函数将每个单元的输出压缩到 0 和 1 之间，是标准化输出，输出之和等于 1。在二分类任务中，输出层使用的激活函数为 sigmoid，而对于多分类的情况，就需要用到softmax 激活函数给每个类都分配一个概率。多分类的情况下，神经网络的输出是一个长度为类别数量的向量，比如输出是(1,1,2)，为了计算概率，可以将其中的每个除以三者之和，得到 (0.25, 0.25, 0.5)。...
激活函数和损失函数
WX_Chen的博客
08-08 2406
激活函数 在之前的logistic和神经网络中，激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。   激活函数的主要作用是提供网络的非线性建模能力。 只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。   常见的激活函数多是分段线性和具有指数形状的非线性函数。   损失函数 其中y是我们期望的输出，a为神经元的实际输出 因为s...
【机器学习】 - 激活函数与交叉熵Sigmoid, Softmax, binary_crossentropy, categorican_crossentropy区别
xuanweiace的博客
03-11 2179
Content: 为什么需要激活函数； 一个神经元在做什么； 激活函数 Sigmoid Softmax 4. 交叉熵损失函数 Binary cross-entropy Categorican cross-entropy 为什么需要激活函数： Ans: 为了引入非线性变换。 如下图所示的红线和蓝线，在这个二维空间中，我们不能用一条线完整的将这两个区域分割开。但如果我们将这个二维...
神经网络的激活函数之sigmoid
qq_42202657的博客
02-20 4291
根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值，但在将该值发送给下一层之前，要是用激活函数对这个输出进行缩放。 sigmoid函数 sigmoid函数是一个logistic函数，意思是说不管输入什么，输出都在0到1之间，也就是输入的每个神经元、节点或激活都会被锁放在一个介于0到1之间的值。 sigmoid 这样的函数常被称为非线性函数，因为我们不能用线性的项来描述...
（Tensorflow之四）激活函数、交叉熵及优化器
abiggg的博客
12-27 1887
一、激活函数激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。 那么激活函数应该具有什么样的性质呢？可微性： 当优化方法是基于梯度的时候，这个性质是必须的。 单调性： 当激活函数是单调的时候，单层网络能够保证
Tensorflow笔记：激活函数，损失函数，交叉熵
Romantic Chopin in C Sharp Minor
01-26 607
神经元模型：用数学公式表示为：?(∑????? + ?)，f 为激活函数。神经网络是以神经元为基本单 元构成的。 激活函数：引入非线性激活因素，提高模型的表达力。 常用的激活函数有 relu、sigmoid、tanh 等。 ① 激活函数 relu: 在 Tensorflow 中，用 tf.nn.relu()表示 ② 激活函数 sigmoid：在 Tensorflow 中...
【深度学习】分类问题损失函数——交叉熵
See_Star的博客
11-28 3602
本文主要介绍分类问题下的损失函数——交叉熵，如何与softmax回归搭配使用，和它们的使用方法，以及如何用TensorFlow实现。
softmax交叉熵损失函数
03-18
嗯，用户想了解如何在深度学习中计算和应用softmax交叉熵损失函数。首先，我需要回忆一下相关的知识点。Softmax函数和交叉熵损失通常一起用于多分类问题。Softmax的作用是将模型的原始输出转化为概率分布，而交叉熵...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值