为什么Cross Entropy方法优于Mean Squared Error？在什么情况下这不起作用？

Question

尽管上述两种方法都提供了更好的分数以更好地接近预测,但仍然优选交叉熵.是在每种情况下还是有一些特殊情况我们更喜欢交叉熵而不是MSE？

Answer 1

交叉熵优先用于分类,而均方误差是回归的最佳选择之一.这直接来自问题本身的陈述 - 在分类中,您使用非常特定的一组可能的输出值,因此MSE被严格定义(因为它没有这种知识,因此以不兼容的方式惩罚错误).为了更好地理解这种现象,最好遵循和理解它们之间的关系

您会注意到两者都可以被视为最大似然估计,只是对因变量有不同的假设.

您能否详细说明“关于因变量的假设”？ (3认同)
@Fake - 正如Duc在单独的答案中指出的那样，逻辑回归假设因变量的二项式分布（或在交叉熵和softmax的广义情况下为多项式），而线性回归假设它是变量的线性函数加上IID从具有固定方差的 0 均值高斯噪声中采样噪声。 (2认同)

Answer 2

当您从概率和分布方面推导出成本函数时,您可以观察到,当您假设误差遵循正态分布时会发生MSE,并且当您假设二项分布时,则会发生交叉熵.这意味着当您使用MSE时,您正在进行回归(估计),当您使用CE时,您正在进行分类.希望它有点帮助.

Answer 3

例如,如果您进行逻辑回归,则将使用sigmoid函数来估计de概率,将交叉熵用作损失函数,使用梯度下降来最小化它.这样做但使用MSE作为损失函数可能会导致非凸问题,您可能会发现局部最小值.使用交叉熵将导致凸起问题,您可能会找到最佳解决方案.