在TensorFlow中,丢失层是在密集层之前还是之后？

Question

根据"TF图层指南",辍学图层位于最后一个密集图层之后:

dense = tf.layers.dense(input, units=1024, activation=tf.nn.relu)
dropout = tf.layers.dropout(dense, rate=params['dropout_rate'], 
                            training=mode == tf.estimator.ModeKeys.TRAIN)
logits = tf.layers.dense(dropout, units=params['output_classes'])

在密集层之前拥有它是否更有意义,所以它通过dropout效应学习从输入到输出的映射？

dropout = tf.layers.dropout(prev_layer, rate=params['dropout_rate'], 
                            training=mode == 
dense = tf.layers.dense(dropout, units=1024, activation=tf.nn.relu)
logits = tf.layers.dense(dense, units=params['output_classes'])

Answer 1

这不是一种情况.非正式地说,普遍的智慧说在密集层之后应用辍学,而不是在卷积或汇集之后应用辍学,所以乍一看这将取决于prev_layer你的第二个代码片段中究竟是什么.

然而,这种"设计原则"现在经常被违反(参见Reddit和CrossValidated中一些有趣的相关讨论); 即使在Keras中包含的MNIST CNN示例中,我们也可以看到在最大池化层之后和密集池之后都应用了丢失:

model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3),
                 activation='relu',
                 input_shape=input_shape))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25)) # <-- dropout here
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))  # <-- and here
model.add(Dense(num_classes, activation='softmax'))

因此,您的代码片段都是有效的,我们也可以轻松想象第三个有效选项:

dropout = tf.layers.dropout(prev_layer, [...])
dense = tf.layers.dense(dropout, units=1024, activation=tf.nn.relu)
dropout2 = tf.layers.dropout(dense, [...])
logits = tf.layers.dense(dropout2, units=params['output_classes'])

作为一般建议:您链接到的教程只是试图让您熟悉工具和(非常)一般原则,因此不建议"过度解释"显示的解决方案......