为什么要用交叉熵做损失函数。

作为一种损失函数，它的重要作用便是可以将“预测值”和“真实值(标签)”进行对比，从而输出 loss 值，直到 loss 值收敛，可以认为神经网络模型训练完成。假设模型经过了改良，在完成一次推理或者一轮训练后，对第一张图得到了如下的预测，也就是说这张图有98%的概率是狗，这个标签的100%已经差的很少了。该分类表明，第一张图像越 40%的概率是狗，30%的概率是狐狸，5%的概率是马，5%的概率是老鹰，20%的概率是松鼠。但是，单从图像标签上看，它100%是一只狗，标签为我们提供了这张图片的准确的概率分布。

以下图片来自： https://www.zhihu.com/question/41252833（Noriko Oshima 的回答） 即用一个概率分布，去尽可能的估计真实数据分布，“使用错误分布q来表示来自真实分布p的平均编码长度”，这个长度大于等于真实分布编码的长度。因此，交叉熵越小越好。 相对熵是错误编码长度和真实编码长度的差值，也即KL散度。 还有一篇博客来自： http://shu...

为什么使用交叉熵作为损失函数为什么交叉熵可以作为损失函数交叉熵损失函数的数学原理     之前在学习分类问题是，突然有个疑问，为什么损失函数变成使用交叉熵了，而不是所熟悉的均方差MSE？     关于这个问题，我查了很多资料，对于这个问题的回答各式各样的都有，所以结合自己的理解在此做一个总结。我觉得对于这个问题可以分成...

版权声明：本文为博主原创文章，转载请附上博文链接！ https://blog.csdn.net/huwenxing0801/article/details/82791879 </div> <div id="content_vi...

通用的说，熵（Entropy）被用于描述一个系统中的不确定性（the uncertainty of 啊system）。在不同领域熵有不同的解释，比如热力学的定义和信息论的大部相同。 要明白交叉熵（Cross Entropy）的意义，可以从熵（Entropy）=> KL 散度（Kullback-Leibler Divergence）=> 交叉熵这个顺序入手。当然，也有多种解释方法。 先给...

https://www.zhihu.com/question/65288314 https://zhuanlan.zhihu.com/p/61944055 https://blog.csdn.net/inner_sum/article/details/79511023

原文转载自http://blog.csdn.net/u012162613/article/details/44239919本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1. 从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，si

在做深度学习模型训练的时候，我们想要的结果不就是模型的识别率越高越好吗，换句话说我能调参调出识别精度高的参数不就行了吗？搞不懂为啥来定义一个损失函数浪费我内存资源，我们不应该把精力放在如何提高我们模型的识别率做为识别精度指标吗，拿损失函数干啥。 感觉挺有道理的，难道不是吗？ 哲学上有一句话说：“任何事物的存在都是有它的道理的”，那损失函数的存在也是有它道理的。对于这个疑(tai)问(ga...

我们为什么这样选择损失函数 这个问题深度学习中的 “圣经” 花书中进行阐述，这里做一个简单的总结和自己的思考。 先从信息熵开始说起 信息论的基本想法是一个不太可能发现的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。例如，消息说： “今天早上太阳照常升起”，信息量是如此的少，以至于没有必要发送；但一条信息说：“今天早上有日食”，信息量就很丰富了。 我们想通过这种基本想法来...

是一种衡量模型与数据吻合程度的算法。损失函数测量实际测量值和预测值之间差距的一种方式。损失函数的值越高预测就越错误，损失函数值越低则预测越接近真实值。对每个单独的观测(数据点)计算损失函数。将所有损失函数（loss function）的值取平均值的函数称为代价函数（cost function），更简单的理解就是损失函数是针对单个样本的，而代价函数是针对所有样本的。。在构建模型的过程中，如果特征的权重发生了变化得到了更好或更差的预测，就需要利用损失函数来判断模型中特征的权重是否需要改变，以及改变的方向。

说一千道一万，交叉熵损失函数有什么价值？答，可以无限增加“分类失误”的惩罚力度，加快模型训练速度。本文通过一个简单的例子，直观解释其工作机制。

此篇文章会带你快速了解lossfunction（损失函数），用简单的语言，方便理解！！！！！

本文从概率、梯度和直观三个角度说明为何分类问题使用交叉熵损失而非 MSE 损失

衡量预测结果与真实结果之间差异的函数。它通过计算模型的回归损失和分类损失99，回归损失主要处理连续型变量，常用等，对异常值敏感度不同；分类损失主要处理离散型变量，常用等，适用于不同分类任务需求。**