交叉熵损失函数（Cross-Entropy Loss）

点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨程序员阿德@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/101773544编辑丨极市平台导读本文总结了语义分割中的5个损失函数，详细介绍每个损失函数的使用场景以及特点。目录：cross entropy lossweighted lossfocal lossdice...

label会送入交叉熵损失函数中进行计算损失值，那么该函数如何起作用呢？

进行二分类或多分类问题时，在众多损失函数中交叉熵损失函数较为常用。 下面的内容将以这三个问题来展开 写目录标题什么是交叉熵损失以图片分类问题为例，理解交叉熵损失函数从0开始实现交叉熵损失函数 什么是交叉熵损失 以图片分类问题为例，理解交叉熵损失函数 从0开始实现交叉熵损失函数 1，什么是交叉熵损失 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性 p(x)表示样本的真实分布，q(x)表示模型所预测的分布 交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实

在学习机器学习过程中，我们经常会用到损失函数来判断模型是否在学习，经常使用的损失函数大多是平方损失函数，与交叉熵损失函数。平方损失函数，我们很容易理解为什么值越小分类效果越好。Loss(w)=1m∑im(yi−yhati)2Loss(w)=1m∑im(yi−yihat)2Loss(w)=\frac{1}{m}\sum_{i}^{m}(y_i-y^{hat}_i)^2 很显然，如果预测的越接近，则...

基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...

损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六

在深度学习中，分类问题无处不在，从图像识别到自然语言处理。交叉熵损失（Cross-Entropy Loss）作为解决分类问题的核心损失函数之一，对于模型的性能有着决定性的影响。本文将详细介绍交叉熵损失的背景、计算方法、使用场景、代码实现及总结。交叉熵损失源于信息论，用于衡量两个概率分布之间的差异。在机器学习中，它被广泛应用于分类问题，尤其是多分类问题，通过计算模型输出的概率分布与真实标签的概率分布之间的差异，引导模型学习正确的分类边界。交叉熵损失是深度学习中处理分类问题不可或缺的工具。

不过要注意，从模型的角度来看，找到不是最终目的，找的过程（即模型的训练）更重要。模型以找到为目标，不断去拟合数据点，使得它的输出离数据的观察值越来越近，直至近到我们满意为止，这时，模型就算训练好了。然后，这个模型针对任何一个新的输入值，就会产生符合训练数据集的分布的一个输出，此输出值即模型产生的预测值。一般是用来量化两个概率分布之间差异的损失函数（多用于分类问题）。举个例子，在多分类问题中，一个物体所属于不同类别的真实分布p如下：也就是说，真实的分类是这个物体属于Class B。预测分布q。

1. 问题描述 在复现论文的过程中，遇到了训练模型Loss一直为负的情况。 程序主要通过深度学习实现一个分类任务。编程与debug过程全部在windows10系统，Pycharm2018v1.4的IDE下完成，主要框架为pytorch 1.2.0。复现过程中采用了交叉熵损失函数计算Loss。训练过程中输出信息如下： 输出部分的代码段： for batch_idx, (data...

写在前面 分类问题和回归问题是监督学习的两大种类。 神经网络模型的效果及优化的目标是通过损失函数来定义的。 回归问题解决的是对具体数值的预测。比如房价预测、销量预测等都是回归问题。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。解决回顾问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。对于回归问题，常用的损失函数是均方误差( MSE，mean squared ...

CNN是一种用于图像处理的深度学习模型，其核心在于自动特征提取。它通过卷积层捕捉局部特征，池化层降维并增强鲁棒性，全连接层进行最终决策。CNN的优势包括权值共享减少参数量、局部连接模拟视觉机制，以及层级特征学习能力。经典模型如LeNet、AlexNet、ResNet等不断优化网络结构。虽然面临过拟合、计算量大等挑战，但通过数据增强、迁移学习等方法可有效解决。CNN广泛应用于图像分类、目标检测、医学影像分析等领域，展现出强大的特征学习和模式识别能力。

本文提出WITRAN模型，用于高效解决长期时间序列预测中的多尺度语义捕捉难题。针对现有RNN、CNN和Transformer类方法在全局/局部相关性与周期模式捕捉上的不足，创新性地结合水波信息传输框架（WIT）和循环加速网络（RAN）。WIT通过2D重组和双向门控传播分别捕获长短期模式，RAN采用并行切片计算将复杂度降至O(√L)。在能源、交通等领域实验中，模型在长期/超长期预测任务上MSE平均提升5.8%-14.3%，效率提升3倍以上，并展现出强鲁棒性。消融实验验证了双向门控和状态融合机制的有效性，未来将

神经网络训练过程通过迭代优化逐步学习数据规律。初始阶段（Epoch 0）随机初始化参数，预测结果波动大。早期训练（Epoch 1-50）快速识别基本模式，损失值从35.42骤降至2.65。中期（Epoch 50-200）微调参数，预测线接近真实关系。后期（Epoch 200-500）稳定收敛，损失值维持在1.97。整个过程包含前向传播计算预测值、损失函数评估误差、反向传播计算梯度、优化器更新参数等关键步骤，最终使网络学会数据背后的真实线性关系y=2x+1。

文章摘要：本文详细介绍了使用神经网络预测冰淇淋销售的实现过程。首先阐述了如何确定网络架构（1个隐藏层，2个神经元），并重点讲解了通过梯度下降法优化模型参数（权重和偏差）的方法。文章比较了暴力破解法、梯度下降法和随机梯度下降法的优缺点，指出梯度下降能有效寻找最优参数值，但随着数据量增大可能出现计算效率问题。最后简要提及了学习率设置的重要性及其他优化算法，为神经网络训练提供了系统性的方法指导。

加载你自己写的缺失值处理工具模块。核心思想：所有负责“基于训练集拟合并填充训练集”；与之配套的负责“用训练阶段学到的统计量/模型去填充测试集”。这样可以避免把测试集信息泄露到训练阶段。train_fill：基于训练集“学规则 + 填训练集”。test_fill：沿用训练集规则，填充测试集。简单剔除：CCA（删除有缺失的行）。统计填充：均值 / 中位数 / 众数。机器学习预测填充：线性回归（线性假设） / 随机森林（非线性、鲁棒）。这样设计的好处：不同方法可以随时替换，实验对比。