交叉熵损失求导矩阵形式

二分类交叉熵损失函数是在二分类问题中常用的一种损失函数，用于衡量模型预测结果与真实标签之间的差异。其数学表达式为： L = -[y * log(p) + (1-y) * log(1-p)] 其中，L表示损失值，y表示真实标签（0或1），p表示模型的预测概率。 为了求解二分类交叉熵损失函数的导数，我们可以将其分为两部分来计算，即对p和对y的导数。 首先，对p求导： dL/dp = - (1-y)/(1-p)] 然后，对y求导： dL/dy = -[log(p) - log(1-p)] 将上述两个导数整合起来，可以得到二分类交叉熵损失函数的导数矩阵形式： dL/dw = [dL/dp * dp/dw, dL/dy * dy/dw] 其中，w表示模型的参数。

### Softmax 函数与交叉熵损失函数的求导 #### 背景介绍 Softmax 函数通常用于多分类问题中的最后一层激活函数，它能够将输入转换成概率分布形式。而交叉熵损失函数则衡量预测的概率分布与真实标签之间的差异。 #### 数学推导 对于给定的一个样本 \( \mathbf{x} \)，其经过网络后的输出记作向量 \( z = (z_1, ..., z_K)^T \)，其中 K 是类别数量。应用 softmax 后得到的概率分布为： \[ p_i = \frac{e^{z_i}}{\sum_{j=1}^K e^{z_j}}, i = 1,...,K \] 设真实的标签表示为独热编码的形式 \( y=(y_1,y_2,\ldots ,y_k)\in\left\{0,1\right\} ^k\) ，那么交叉熵损失可以定义如下: \[ L(\theta)= -\sum _i y_ilog(p_i)=-log(p_y), \text {where }p_y=p(y|x;\theta )=\prod_ip_i^{yi}\] 为了计算梯度下降所需的偏导数，考虑单个训练样例的情况下，针对第 k 类别的权重参数 w 的更新规则可由链式法则得出： \[ \begin{aligned} \nabla_wL &= (\partial/\partial w)L \\ &= (\partial /\partial p_k)(-\ln p_k)\cdot(\partial / \partial z_k)p_k\cdot(\partial/ \partial w)z_k\\ &=(-1/p_k)\times(e^{-z_k}/S)\times x\\ &=-(x/S)e^{-z_k}\\ &= -(x/S)p_ke^{-z_k}(1-p_k)/p_k\\ &= -xp_k(1-p_k) \end{aligned}[^1]\] 这里 S 表示分母部分即所有指数项之和；\( x \)代表当前特征向量。当处理多个类时，则需累加各个类对应的贡献值来获得最终的结果。 #### 实现细节 在实际编程实现中，为了避免数值溢出或者下溢的情况发生，在计算过程中会采用一些技巧性的变换方法。比如先减去最大值再做 exp 运算，从而保证后续运算的安全性和稳定性。 ```python import numpy as np def stable_softmax(z): """Compute the softmax of vector z in a numerically stable way.""" shift_z = z - np.max(z) exp_scores = np.exp(shift_z) return exp_scores / np.sum(exp_scores) def compute_loss_and_gradient(scores, labels): """ Compute cross-entropy loss and gradients. Args: scores: A matrix containing raw predictions from model. Shape should be NxD where D is num_classes. labels: True label indices for each example. Length must match N. Returns: Tuple with scalar representing average CE loss across all samples, plus gradient wrt input logits `scores`. """ n_samples = scores.shape[0] probs = stable_softmax(scores) log_likelihoods = -np.log(probs[np.arange(n_samples),labels]) avg_ce_loss = np.mean(log_likelihoods) dscores = probs.copy() dscores[np.arange(n_samples),labels] -= 1 grad_avg = dscores/n_samples return avg_ce_loss,grad_avg ``` 上述代码实现了稳定版的 softmax 计算以及相应的交叉熵损失及其反向传播所需的一阶导数矩阵。