在Tensorflow中微调深度神经网络

Question

我想在Tensorflow中对预训练的深度神经网络进行部分微调(例如,为所有层加载权重,但只更新更高层次的权重).

Tensorflow中是否有任何方法可以选择应该更改的变量和应该保持相同的变量？

先感谢您!

Answer 1

当您创建优化程序(例如tf.train.AdagradOptimizer)来训练模型时,可以将明确的var_list=[...]参数传递给Optimizer.minimize()方法.(如果未指定此列表,则默认包含所有变量tf.trainable_variables().)

例如,根据您的模型,您可以使用变量的名称来定义要优化的变量列表:

# Assuming all variables to be fine-tuned have a name that starts with
# "layer17/".
opt_vars = [v for v in tf.trainable_variables() if v.name.startswith("layer17/")]

train_op = optimizer.minimize(loss, var_list=opt_vars)