设置 Keras 模型可训练与使每一层可训练有什么区别

Question

我有一个由一些密集层组成的 Keras Sequential 模型。我将整个模型的可训练属性设置为 False。但是我看到各个层的可训练属性仍然设置为 True。我是否需要单独将图层的可训练属性也设置为 False？那么在整个模型上将trainable property设置为False是什么意思呢？

Answer 1

为了能够回答这个问题，您需要查看 Keras 的源代码，这样做后您可能会感到惊讶，因为您会意识到：

• 该Sequential班是一个子类的Model类，并且
• 的Model类是子类的Network类，并且
• 该Network班是一个子类的Layer类！

正如我所说，Keras 模型是从 Keras 层派生出来的，这可能有点令人惊讶。但是如果你进一步思考，你会发现它是合理的，因为它们有很多共同的功能（例如，两者都获得一些输入，对它们进行一些计算，产生一些输出，并更新它们的内部权重/参数）。它们的共同属性之一是trainable属性。现在，当你设置trainable一个的属性模型，因为False它会跳过重更新步骤。换句话说，它不检查trainable其底层的属性；相反，它首先检查自己的 trainable属性（更准确地说是在Network类中），如果它是False更新被跳过。因此，这并不意味着其底层的trainable属性也设置False为。不这样做有一个很好的理由：一个层的单个实例可以在多个模型中使用。例如，考虑以下两个具有共享层的模型：

inp = Input(shape=...)

shared_layer = Dense(...)
sout = shared_layer(inp)

m1_out = Dense(...)(sout)
m2_out = Dense(...)(sout)

model1 = Model(inp, m1_out)
model2 = Model(inp, m2_out)

现在，如果我们设置model1.trainable = False，这将冻结整个model1（即训练model1不会更新其底层的权重，包括shared_layer）；然而， theshared_layer和 themodel2 仍然是可训练的（即训练model2将更新其所有层的权重，包括shared_layer）。另一方面，如果我们设置model1.layers[1].trainable = False，则shared_layer被冻结，因此在训练model1或时它的权重不会更新model2。通过这种方式，您可以拥有更多的控制权和灵活性，因此您可以构建更复杂的架构（例如 GAN）。