Dropout 实现：批处理中的所有图像是否在 Caffe 中获得相同的掩码？

Question

我只是想确认一个 mini-batch 中的所有图像是否都得到了相同的 dropout mask。

澄清一下：假设一个 1000 大小的向量通过 Dropout 层，小批量大小为 100。现在，第一个图像向量的第 21 个和第 31 个元素被丢弃。批次中剩余的所有 99 张图像是否有必要删除第 21 个和第 31 个元素？还是每个图像都有一个单独的蒙版？

Answer 1

不，批次中的每个图像都有一个独立的、完全随机的掩码。

实际上，Dropout 层甚至不关心其输入的形状：它计算底部 Blob 中元素的数量（即对于 10 张图像、3 个通道和 224x224 的批量大小，它将是10 * 3 * 224 * 224 = 1505280），并生成相同数量的独立随机数。