深度学习关于NLLLoss损失的数学向个人详解

损失函数nll_loss https://www.gentlecp.com/articles/874.html ↑↑↑有详细说明↑↑↑ nll_loss 函数接收两个tensor第一个是模型的output，第二个是label target，output中每一行与一个标签中每一列的元素对应，根据target的取值找出output行中对应位置元素，求和取平均值。 转载请注明：求索 » 【pytorch笔记】损失函数nll_loss ...

本文主要讲解在使用pytorch中对损失函数`nll_loss`的一些理解与思考。

EntropyLoss** 交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小，说明二者之间越接近。 实际上，可以认为： CrossEntropyLoss = log_sofrmax + NLLLoss 在对图片进行分类时，通常会一次性输入n张图片，最后得出一个n*c的tensor，c是此次分类的类别数： 比如：n=10,c=2，表示一共10张图片，类别为2类 output = torch.tensor([[-2.8799, 1.1380], [ 0.4756, -0.277

本篇文章中我们将详细比较torch.nn中两个损失函数类NLLLoss与CrossEntropyLoss，首先我们将介绍负对数似然和交叉熵，其次我们再介绍在Pytorch中两个类具体的执行计算方式。

是 PyTorch 中的一个类，它实现了将 Sigmoid 激活函数和二元交叉熵损失函数合并的功能。这个损失函数接受两个输入：模型的原始输出（未经 Sigmoid 激活）和目标（真实）标签，然后自动计算损失值。由于它在内部集成了 Sigmoid 激活函数，因此可以避免在正向和反向传播过程中可能出现的梯度爆炸或梯度消失问题。是 PyTorch 中一个用于二元分类问题的强大损失函数，它通过结合 Sigmoid 激活函数和二元交叉熵损失函数，提高了训练的效率和数值稳定性。

在深度学习中，损失函数（Loss Function）是衡量模型预测与真实值差异的核心工具，其计算方式根据任务类型和优化目标的不同而有所差异。

NLLLoss 负对数似然损失函数，用于处理多分类问题，输入是对数化的概率值。 对于包含NNN个样本的batch数据 D(x,y)D(x, y)D(x,y)，xxx 是神经网络的输出，并进行归一化和对数化处理。yyy是样本对应的类别标签，每个样本可能是CCC种类别中的一个。 lnl_{n}ln​ 为第nnn个样本对应的losslossloss，0≤yn≤C−10 \leq y_{n} \leq C-10≤yn​≤C−1 ln=−wynxn,ynl_{n}=-w_{y_{n}} x_{n, y_{n}}ln​

损失函数｜交叉熵损失函数 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/35709485

常用于多分类任务，NLLLoss 函数输入 input 之前，需要对 input 进行 log_softmax 处理，即将 input 转换成概率分布的形式，并且取对数，底数为 e class torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='...

接下来应该要介绍分类任务里最常用的CrossEntropyLoss，但是CrossEntropyLoss里面用到了NLLLoss，所以我们先了解NLLLoss是什么。NLLLoss全名叫做Negative Log Likelihood Loss，顾名思义，输入就是log likelihood，对输入的对应部分取负号就是这个loss的输出了，公式可以表示为：其中是每个类别的权重，默认的全为1，表示对应target那一类的概率。更简单一点来说，就是将对应类别的x输出取负值。

简单概括一下NLLloss都干了些什么，侧重于概念的总结，不对参数做过多说明。

机缘巧合下，近期又详细学习了一遍各损失函数的计算，特此记录以便后续回顾。为了公式表示更加清晰，我们设yn​∈{1,2,…,K}为样本n的真实标签，v=(v1​,v2​,…vK​)为网络的输出，即样本n的预测结果，设N为一批样本的数目（即Batch size），K为分类任务的类别数目。

NLL_LOSS, CROSS_ENTROPY_LOSS详解常用损失函数nllcross_entropy一段代码transformer中的一段经典代码 常用损失函数 nll 官方文档 torch.nn.functional.nll_loss(input, target, weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean') input,(N,C); target,(N);&nbsp

本文对损失函数进行了部分总结，包括：NLLLoss、CTCLoss等损失函数及其在当前损失函数众多的情况下使用的环境。总的来说：NLLLoss 和 CrossEntropyLoss 是一致的，且具有相同作用；CTCLoss则广泛用于各种时间序列任务。。。