小编tu_*_*ous的帖子

我对如何在 keras 中正确使用带有 RNN 的 dropout 感到困惑，特别是对于 GRU 单元。keras 文档参考了这篇论文（https://arxiv.org/abs/1512.05287），我知道所有时间步长都应该使用相同的 dropout 掩码。这是通过指定 GRU 层本身的 dropout 参数来实现的。我不明白的是：

1. 为什么互联网上有几个例子，包括 keras 自己的例子（https://github.com/keras-team/keras/blob/master/examples/imdb_bidirectional_lstm.py）和 Andrew Ng 的 Coursera Seq 中的“触发词检测”作业。模型课程，他们显式地添加了一个 dropout 层“model.add(Dropout(0.5))”，据我所知，它将为每个时间步添加一个不同的掩码。

2. 上面提到的论文表明，这样做是不合适的，由于在所有时间步长中这种 dropout 噪声的积累，我们可能会丢失信号和长期记忆。但是，这些模型（在每个时间步使用不同的 dropout 掩码）如何能够学习并表现良好。

我自己训练了一个模型，它在每个时间步使用不同的 dropout 掩码，虽然我没有得到我想要的结果，但该模型能够过度拟合训练数据。根据我的理解，这使所有时间步长的“噪声累积”和“信号丢失”无效（我有 1000 个时间步长序列输入到 GRU 层）。

对这种情况的任何见解、解释或经验都会有所帮助。谢谢。

更新：

为了更清楚地说明，我将提到 keras 文档中 Dropout Layer 的摘录（“noise_shape: 1D integer tensor表示将与输入相乘的二进制 dropout 掩码的形状。例如，如果您的输入具有形状（batch_size , timesteps, features) 并且您希望所有时间步长的 dropout 掩码都相同，您可以使用 noise_shape=(batch_size, 1, features")。所以，我相信，可以看出，当明确使用 Dropout 层并且需要在每个时间步使用相同的掩码（如论文中所述），我们需要编辑这个 noise_shape 参数，这在我之前链接的示例中没有完成。