小编use*_*629的帖子

Keras辍学的实施参考了本文.

以下摘录来自该文件:

这个想法是在测试时使用单个神经网络而不会丢失.该网络的权重是训练权重的缩小版本.如果在训练期间以概率p保留单位,则在测试时间将该单位的输出权重乘以p,如图2所示.

Keras文档提到丢失仅用于列车时间,以及Dropout实施中的以下行

x = K.in_train_phase(K.dropout(x, level=self.p), x)

似乎表明确实来自图层的输出只是在测试时间内传递.

此外,我无法找到在训练完成后按比例缩小权重的代码.我的理解是,这个缩放步骤对于使丢失工作从根本上是必要的,因为它相当于在"子网络"集合中获取中间层的预期输出.没有它,计算就不再被视为从这个"子网络"集合中进行采样.

那么,我的问题是,在Keras实施的辍学的缩放效果在哪里呢？

更新1:好的,所以Keras使用反向丢失,虽然在Keras文档和代码中称为dropout.链接http://cs231n.github.io/neural-networks-2/#reg似乎并不表示两者是等价的.回答也没有https://stats.stackexchange.com/questions/205932/dropout-scaling-the-activation-versus-inverting-the-dropout.我可以看到他们做了类似的事情,但我还没有看到有人说他们完全一样.我认为他们不是.

所以一个新问题:辍学和倒退辍学相当吗？要清楚,我正在寻找说出他们是否存在的数学理由.

我有一个4-D numpy数组，第一个维度表示数据集中的图像数量，第二个和第三个维度表示（相等）宽度和高度，第四个维度表示通道数（3）。例如，假设我有4张28 * 28彩色图像，所以我的图像数据如下所示：

X = np.reshape(np.arange(4*28*28*3), (4,28,28,3))

我想为4张图片中的每张图片随机选择16 * 16宽x高的裁剪。至关重要的是，我希望每个图像的裁切是不同的，即我想生成4个随机（x_offset，y_offset）对。最后，我要访问形状数组（4、16、16、3）。

如果我要在for循环中编写此代码，它将类似于以下内容：

x = np.random.randint(0,12,4)
y = np.random.randint(0,12,4)
for i in range(X.shape[0]):
    cropped_image = X[i, x[i]:x[i]+16, y[i]:y[i]+16, :]
    #Add cropped image to a list or something

但是我想尽可能高效地做到这一点，并且我想知道是否有一种方法可以大步前进和花哨的索引编制。我已经看到了该问题的答案，但无法完全理解如何将stride_tricks之类的东西与第二和第三（宽度和高度）轴上的步幅的随机起点组合在一起。