Tensorflow 中的损失权重如何工作？

Question

我正在针对代表性明显不足的目标类别训练循环二元分类器。假设我们的目标类别 1 代表我们拥有的所有训练数据的 <1%，而类别 0 >99%。为了对模型错误预测少数群体进行更多惩罚，我想在损失函数中使用权重。对于每个小批量，我创建了相应的权重小批量，其中我们的目标类别的权重标量 >1.0，而我们的多数类别相应地小于 1.0。例如，在下面的代码中，我们对 1 类使用 2.0，对 2 类使用 0.6。

loss_sum = 0.0
for t, o, tw in zip(self._targets_uns, self._logits_uns, self._targets_weight_uns):
    # t -- targets tensor [batchsize x 1], tw -- weights tensor [batchsize x 1]
    # e.g. [0, 0, 0, 0, 1, 1, 0] -- [0.5, 0.5, 0.5, 0.5, 2.0, 2.0, 0.5]
    _loss = tf.losses.sigmoid_cross_entropy(t, o, weights=tw, label_smoothing=0,
                                scope="sigmoid_cross_entropy",
                                loss_collection=tf.GraphKeys.LOSSES)
    loss_sum += _loss

模型训练完成后，我检查预测精度，发现它比没有权重的精度略低。我继续尝试重量对[1.4, 0.8], [1.6, 0.4], [4.0, 0.1], [3.0, 1.0], ...等等。然而，与未加权训练相比，除了边际差异降低 2-3% 之外，我没有得到任何改进。好吧，也许我误解了tf.losses.sigmoid_cross_entropy函数的文档。

权重充当损失的系数。如果提供标量，则损失将简单地按给定值缩放。如果权重是形状为 [batch_size] 的张量，则损失权重适用于每个相应的样本。

我只是反转对并为 0 类使用较高的权重，为 1 类使用较低的权重：[0.5, 2.0], [0.8, 1.3], [0.2, 1.0], ...。除了比未加权版本稍差之外，这也没有提供任何改进。

有人可以向我解释一下加权损失的行为吗？我做得对吗？我应该怎样做才能增加少数群体的权重？

Answer 1

加权是一种通用数学技术，用于求解 形式的过度指定方程组Wx=y，其中x输入向量y是输出向量，W是您希望找到的变换矩阵。通常，这些问题可以使用 SVD 等技术来解决。WSVD 将通过最小化least-squared error超指定系统的来找到解决方案。Tensorflow 基本上是通过其最小化过程来解决类似的问题。

在您的例子中，发生的情况是您有 1 个 A 类样本和 99 个 B 类样本。由于求解过程旨在最小化总体误差，因此 B 类对解决方案的贡献是 A 类的 1 倍，而 B 类对解决方案的贡献是 99 倍。为了解决这个问题，您应该调整权重，使 A 类和 B 类对解决方案的贡献均匀，即将 B 类权重降低 0.01。

更一般地说，你可以做...

ratio = num_B / (num_A + num_B)
weights = [ratio, 1.0 - ratio]