损失函数——交叉熵损失函数

### 关于交叉熵函数 #### 定义 交叉熵是一种衡量两个概率分布之间差异的损失函数，在机器学习和深度学习领域广泛应用于分类问题。具体来说，交叉熵用来量化真实标签的概率分布与模型预测的概率分布之间的差距[^1]。 对于二元分类问题，假设 \( y \) 表示真实的类别（0 或 1），\( p(y|x) \) 则表示给定输入特征 x 下属于该类别的条件概率，则二元交叉熵可以定义如下： \[ H(p, q) = -\sum_{i}p(x_i)\log(q(x_i)) \] 其中 \( p(x_i) \) 和 \( q(x_i) \) 分别代表目标的真实分布和预测分布[^3]。 #### 使用场景 在监督式学习框架下，当面对多分类任务时，交叉熵被选作常用的损失函数之一。这是因为相比于其他类型的损失函数，比如均方误差(MSE)，它能更好地捕捉到不同类别间的区别，并且更有利于神经网络参数更新过程中的梯度下降算法工作[^2]。 此外，由于 Softmax 函数能够将线性变换后的得分转换成有效的离散型概率分布形式，因此两者经常一起搭配使用来解决多分类问题。Softmax 的输出具备良好的可导性质，这使得整个系统的反向传播机制得以顺利实施，从而提高了训练速度以及最终得到更好性能的结果[^4]。 #### Python 实现代码 下面给出一段简单的 PyTorch 版本实现交叉熵损失函数的例子: ```python import torch.nn as nn # 假设我们有一个批次大小为 N 的数据集， # 每个样本有 C 类的可能性分数作为输入 logits, # 并已知对应的 ground truth labels. criterion = nn.CrossEntropyLoss() output = model(input_data) # output shape: [N,C], 即 batch_size * num_classes loss = criterion(output, target_labels) print(f'Loss value is {loss.item()}') ``` 此段代码展示了如何利用 PyTorch 库内置的功能快速构建并应用交叉熵损失函数来进行模型训练。