目录
1. torch.nn.functional.cross_entropy
2. torch.nn.functional.binary_cross_entropy
3. torch.nn.functional.binary_cross_entropy_with_logits
1.1 Classification Error(分类错误率)
1.3 Cross Entropy Loss Function(交叉熵损失函数)
前言
在处理分类问题的神经网络模型中,很多都使用交叉熵 (cross entropy) 做损失函数。交叉熵和KL散度在机器学习中非常有用,随处可见。 例如,我们可能希望预测的概率分布接近我们观察到的数据的分布,也就是说,我们希望一种分布(可以是概率向量)与另一种分布接近, 而交叉熵和KL散度为我们提供了一种自然的方法测量两个分布之间的差距,这个差距就可以被当作损失函数。
交叉熵主要是用来判定实际的输出与期望的输出的接近程度,为什么这么说呢,举个例子:在做分类的训练的时候,如果一个样本属于第K类,那么这个类别所对应的的输出节点的输出值应该为1,而其他节点的输出都为0,即[0,0,1,0,….0,0],这个数组也就是样本的Label,是神经网络最期望的输出结果。也就是说用它来衡量网络的输出与标签的差异,利用这种差异经过反向传播去更新网络参数。
几个相关概念
信息量
-
信息奠基人香农(Shannon)认为“信息是用来消除随机不确定性的东西”,也就是说衡量信息量的大小就是看这个