为什么均方差（MSE）不适合分类问题？交叉熵（cross-entropy）不适合回归问题？

最新推荐文章于 2025-07-29 20:30:23 发布

this_is_part_of_life

最新推荐文章于 2025-07-29 20:30:23 发布

阅读量1.6w

点赞数 22

CC 4.0 BY-SA版权

文章标签： MSE cross-entropy

本文链接：https://blog.csdn.net/weixin_41888969/article/details/89450163

1.为什么均方差（MSE）不适合分类问题？

当sigmoid函数和MSE一起使用时会出现梯度消失。原因如下：
(1)MSE对参数的偏导
$在这里插入图片描述$
$在这里插入图片描述$
(2)corss-entropy对参数的偏导
$在这里插入图片描述$
$在这里插入图片描述$
由上述公式可以看出，在使用MSE时，w、b的梯度均与sigmoid函数对z的偏导有关系，而sigmoid函数的偏导在自变量非常大或者非常小时，偏导数的值接近于零，这将导致w、b的梯度将不会变化，也就是出现所谓的梯度消失现象。而使用cross-entropy时，w、b的梯度就不会出现上述的情况。所以MSE不适用于分类问题。