多类语义分割模型评估

Question

我正在做一个关于多类语义分割的项目。我制定了一个模型，通过降低损失值来输出相当下降的分割图像。但是，我无法用指标来评估模型性能，例如meanIoU或Dice系数。在二元语义分割的情况下，只需设置 0.5 的阈值即可轻松将输出分类为对象或背景，但在多类语义分割的情况下则不起作用。您能告诉我如何获得上述指标的模型性能吗？任何帮助将不胜感激！

顺便说一句，我正在使用 PyTorch 框架和 CamVid 数据集。

Answer 1

如果有人对这个答案感兴趣，也请看看这个问题。该问题的作者指出，mIoU 可以通过不同的方式计算（并且该方法在文献中更容易被接受）。因此，在将实现用于任何正式出版物之前请考虑这一点。

基本上，问题发布者建议的另一种方法是单独累积整个数据集的交集和并集，并在最后一步将它们分开。下面原始答案中的方法计算一批图像的交集和并集，然后将它们除以得到当前批次的 IoU，然后取整个数据集的 IoU 的平均值。

然而，下面给出的原始方法是有问题的，因为最终的平均 IoU 会随着批量大小的变化而变化。另一方面，对于问题中提到的方法，mIoU 不会随着批量大小的变化而变化，因为单独的累积将确保批量大小是无关的（尽管较高的批量大小肯定有助于加快评估速度）。

原答案：

下面给出了 PyTorch 中均值 IoU（并集交集）的实现。

def mIOU(label, pred, num_classes=19):
    pred = F.softmax(pred, dim=1)              
    pred = torch.argmax(pred, dim=1).squeeze(1)
    iou_list = list()
    present_iou_list = list()

    pred = pred.view(-1)
    label = label.view(-1)
    # Note: Following for loop goes from 0 to (num_classes-1)
    # and ignore_index is num_classes, thus ignore_index is
    # not considered in computation of IoU.
    for sem_class in range(num_classes):
        pred_inds = (pred == sem_class)
        target_inds = (label == sem_class)
        if target_inds.long().sum().item() == 0:
            iou_now = float('nan')
        else: 
            intersection_now = (pred_inds[target_inds]).long().sum().item()
            union_now = pred_inds.long().sum().item() + target_inds.long().sum().item() - intersection_now
            iou_now = float(intersection_now) / float(union_now)
            present_iou_list.append(iou_now)
        iou_list.append(iou_now)
    return np.mean(present_iou_list)

模型的预测将采用 one-hot 形式，因此首先采用 softmax（如果您的模型还没有），然后argmax获取每个像素处概率最高的索引。然后，我们计算每个类别的 IoU（并在最后取平均值）。

我们可以将预测和标签重塑为一维向量（我读到它使计算速度更快）。pred_inds = (pred == sem_class)对于每个类，我们首先使用和确定该类的索引target_inds = (label == sem_class)。结果pred_inds和target_inds将在标记为该特定类别的像素处为 1，而在任何其他类别处为 0。

那么，目标有可能根本不包含该特定类。这将使该类的 IoU 计算无效，因为它不存在于目标中。因此，您为此类类分配 NaN IoU（以便稍后可以识别它们），并且不让它们参与平均值的计算。

如果目标中存在特定类别，则将pred_inds[target_inds]给出 1 和 0 的向量，其中索引为 1 的索引表示预测和目标相等的索引，否则索引为零。将其所有元素相加即可得到交集。

pred_inds如果我们将和的所有元素相加target_inds，我们将得到该特定类的像素的并集+交集。因此，我们减去已经计算出的交集来得到并集。然后，我们可以将交集和并集相除以获得该特定类的 IoU，并将其添加到有效 IoU 列表中。

最后，取整个列表的平均值来得到 mIoU。如果你想要骰子系数，你可以用类似的方式计算它。