Tensorflow 中哪些层受到 dropout 层的影响？

Question

考虑迁移学习，以便在 keras/tensorflow 中使用预训练模型。对于每个旧层，trained参数设置false为使其权重在训练期间不会更新，而最后一层已被新层替换，并且必须对这些层进行训练。特别是添加了两个带有神经元和 relu 激活函数的全连接隐藏层512。1024在这些层之后，使用 Dropout 层rate 0.2。这意味着在每个训练时期，20%神经元都会被随机丢弃。

该 dropout 层影响哪些层？它是否会影响所有网络，包括已layer.trainable=false设置的预训练层，还是仅影响新添加的层？或者它只影响前一层（即具有1024神经元的一层）？

换句话说，在每个时期因 dropout 而关闭的神经元属于哪一层？

import os

from tensorflow.keras import layers
from tensorflow.keras import Model
  
from tensorflow.keras.applications.inception_v3 import InceptionV3

local_weights_file = 'weights.h5'

pre_trained_model = InceptionV3(input_shape = (150, 150, 3), 
                                include_top = False, 
                                weights = None)

pre_trained_model.load_weights(local_weights_file)

for layer in pre_trained_model.layers:
  layer.trainable = False
  
# pre_trained_model.summary()

last_layer = pre_trained_model.get_layer('mixed7')
last_output = last_layer.output

# Flatten the output layer to 1 dimension
x = layers.Flatten()(last_output)
# Add two fully connected layers with 512 and 1,024 hidden units and ReLU activation
x = layers.Dense(512, activation='relu')(x)
x = layers.Dense(1024, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)                  
# Add a final sigmoid layer for classification
x = layers.Dense  (1, activation='sigmoid')(x)           

model = Model( pre_trained_model.input, x) 

model.compile(optimizer = RMSprop(lr=0.0001), 
              loss = 'binary_crossentropy', 
              metrics = ['accuracy'])

Answer 1

dropout层会影响前一层的输出。

如果我们查看代码的特定部分：

x = layers.Dense(1024, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)                  
# Add a final sigmoid layer for classification
x = layers.Dense  (1, activation='sigmoid')(x)  

在您的情况下，在传递到最后一层之前，由 定义的层的 20% 输出x = layers.Dense(1024, activation='relu')(x)将被随机丢弃Dense。