MATLAB算法实战应用案例精讲-【数模应用】交叉熵损失函数（Cross-entropy loss function）（补充篇）

最新推荐文章于 2023-07-07 00:15:00 发布

林聪木

最新推荐文章于 2023-07-07 00:15:00 发布

阅读量610

点赞数 1

CC 4.0 BY-SA版权

分类专栏：【数学建模应用】MATLAB算法实战案例精讲500篇文章标签： matlab 算法开发语言

本文链接：https://blog.csdn.net/qq_36130719/article/details/131509021

【数学建模应用】MATLAB算法实战案例精讲500篇专栏收录该内容

769 篇文章 ¥49.90 ¥99.00

订阅专栏

本文详细介绍了交叉熵损失函数在MATLAB中的应用，从信息熵、相对熵等基本概念出发，深入讲解交叉熵的含义、算法原理及在分类任务中的作用。文中探讨了交叉熵与最大似然估计的关系，并通过实例展示了在Pytorch中如何实现交叉熵损失。此外，文章还对比了交叉熵与均方误差损失函数在梯度下降中的差异，强调了交叉熵在处理分类问题时的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scikit-learn里的log_loss()

① 单标签分类任务的交叉熵损失函数（二分类任务包含在其中）

Pytorch常用的交叉熵损失函数CrossEntropyLoss()

Pytorch中的CrossEntropyLoss()函数

代码实现

python

torch 代码实现 nn.NLLLoss()

torch 代码实现 nn.CrossEntropyLoss()

前言

交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。复杂度的意义是用该模型表示这一文本平均的分支数，其倒数可视为每个词的平均概率。平滑是指对没观察到的N元组合赋予一个概率值，以保证词序列总能通过语言模型得到一个概率值。通常使用的平滑技术有图灵估计、删除插值平滑、Katz平滑和Kneser-Ney平滑。

　　将交叉熵引入计算语言学消岐领域，采用语句的真实语义作为交叉熵的训练集的先验信息，将机器翻译的语义作为测试集后验信息。计算两者的交叉熵，并以交叉熵指导对歧义的辨识和消除。实例表明，该方法简洁有效．易于计算机自适应实现。交叉熵不失为计算语言学消岐的一种较为有效的工具。

　　交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。