神经网络：Dropout“过滤器”多久更新一次？
我只是有一个关于 Dropout 层的非常普遍的问题。Dropout“过滤”多久更新一次？
对于每个训练示例？还是每个小批量？还是每个时代？
非常感谢
通常，对于每个训练示例。
来源 1：幻灯片取自Standford CS231n：用于视觉识别的卷积神经网络：
来源 2： http: //www.deeplearningbook.org/ - 第 7 章：
每次我们将示例加载到小批量中时，我们都会随机采样不同的二进制掩码以应用于网络中的所有输入和隐藏单元。每个单元的掩码独立于所有其他单元进行采样
我希望对每个小批量进行更改也应该没问题。然而，我不认为每个时期都进行改变是一个好主意（特别是对于大型训练集）。