使用交叉熵时如何处理 log(0)

Question

为了使案例简单直观，我将使用二进制（0 和 1）分类进行说明。

损失函数

loss = np.multiply(np.log(predY), Y) + np.multiply((1 - Y), np.log(1 - predY)) #cross entropy
cost = -np.sum(loss)/m #num of examples in batch is m

Y 的概率

predY使用 sigmoid 计算，logits可以被认为是到达分类步骤之前神经网络的结果

predY = sigmoid(logits) #binary case

def sigmoid(X):
    return 1/(1 + np.exp(-X))

问题

假设我们正在运行一个前馈网络。

输入：[3, 5]：3 是示例的数量，5 是特征大小（捏造的数据）

隐藏单元数：100（只有1个隐藏层）

迭代次数：10000

这种安排被设置为过拟合。当它过拟合时，我们可以完美地预测训练样本的概率；换句话说，sigmoid 输出 1 或 0，确切的数字，因为指数会爆炸。如果是这种情况，我们会有np.log(0)undefined。你通常如何处理这个问题？

Answer 1

你通常如何处理这个问题？

添加小数（类似于 1e-15）predY- 这个数字不会使预测偏离太多，它解决了 log(0) 问题。

顺便说一句，如果您的算法输出零和一，检查返回概率的直方图可能会很有用 - 当算法非常确定某事正在发生时，它可能是过度拟合的迹象。

Answer 2

如果您不介意对 scipy 的依赖，您可以使用scipy.special.xlogy. 你会替换表达式

np.multiply(np.log(predY), Y) + np.multiply((1 - Y), np.log(1 - predY))

和

xlogy(Y, predY) + xlogy(1 - Y, 1 - predY)

如果您希望predY包含非常小的值，则scipy.special.xlog1py在第二项中使用可能会获得更好的数值结果：

xlogy(Y, predY) + xlog1py(1 - Y, -predY)

或者，知道 中的值Y是 0 或 1，您可以以完全不同的方式计算成本：

Yis1 = Y == 1
cost = -(np.log(predY[Yis1]).sum() + np.log(1 - predY[~Yis1]).sum())/m