还原作为Tensorflow中新模型子集的变量？

Question

我正在通过Tensorflow进行增强(4层DNN到5层DNN)的示例.我正在使用保存会话并在TF中恢复,因为在TF tute中有一个简短的段落:'例如,你可能已经训练了一个有4层的神经网络,你现在想训练一个有5层的新模型,恢复从先前训练的模型的4层到新模型的前4层的参数.',其中tensorflow tute激发了https://www.tensorflow.org/how_tos/variables/.

但是,我发现当检查点保存4层参数时,没有人问过如何使用'恢复',但是我们需要将它放到5层,引发一个红旗.

用真正的代码制作这个,我做了

with tf.name_scope('fcl1'):
    hidden_1 = fully_connected_layer(inputs, train_data.inputs.shape[1], num_hidden)            
with tf.name_scope('fcl2'):
    hidden_2 = fully_connected_layer(hidden_1, num_hidden, num_hidden)                
with tf.name_scope('fclf'):
    hidden_final = fully_connected_layer(hidden_2, num_hidden, num_hidden)    
with tf.name_scope('outputl'):
    outputs = fully_connected_layer(hidden_final, num_hidden, train_data.num_classes, tf.identity)
    outputs = tf.nn.softmax(outputs)
with tf.name_scope('boosting'):
    boosts = fully_connected_layer(outputs, train_data.num_classes, train_data.num_classes, tf.identity)

其中变量里面(或调用)'fcl1' - 所以我有'fcl1/Variable'和'fcl1/Variable_1'的重量和偏差 - 'fcl2','fclf'和'outputl'由saver.save存储()脚本没有"增强"层.但是,由于我们现在有'提升'层,saver.restore(sess,"saved_models/model_list.ckpt")不起作用

NotFoundError: Key boosting/Variable_1 not found in checkpoint

我真的希望听到这个问题.谢谢.下面的代码是我遇到麻烦的代码的主要部分.

def fully_connected_layer(inputs, input_dim, output_dim, nonlinearity=tf.nn.relu):
    weights = tf.Variable(
        tf.truncated_normal(
            [input_dim, output_dim], stddev=2. / (input_dim + output_dim)**0.5), 
        'weights')
    biases = tf.Variable(tf.zeros([output_dim]), 'biases')
    outputs = nonlinearity(tf.matmul(inputs, weights) + biases)    

    return outputs

inputs = tf.placeholder(tf.float32, [None, train_data.inputs.shape[1]], 'inputs')
targets = tf.placeholder(tf.float32, [None, train_data.num_classes], 'targets')

with tf.name_scope('fcl1'):
    hidden_1 = fully_connected_layer(inputs, train_data.inputs.shape[1], num_hidden)            
with tf.name_scope('fcl2'):
    hidden_2 = fully_connected_layer(hidden_1, num_hidden, num_hidden)                
with tf.name_scope('fclf'):
    hidden_final = fully_connected_layer(hidden_2, num_hidden, num_hidden)    
with tf.name_scope('outputl'):
    outputs = fully_connected_layer(hidden_final, num_hidden, train_data.num_classes, tf.identity)

with tf.name_scope('error'):    
    error = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(outputs, targets))
with tf.name_scope('accuracy'):
    accuracy = tf.reduce_mean(tf.cast(
        tf.equal(tf.argmax(outputs, 1), tf.argmax(targets, 1)), 
        tf.float32))
with tf.name_scope('train'):
    train_step = tf.train.AdamOptimizer().minimize(error)

init = tf.global_variables_initializer()  
saver = tf.train.Saver()

with tf.Session() as sess:
    sess.run(init)
    saver.restore(sess, "saved_models/model.ckpt")
    print("Model restored")

    print("Optimization Starts!")
    for e in range(training_epochs):
        ...

   #Save model - save session        
    save_path = saver.save(sess, "saved_models/model.ckpt")
    ### I once saved the variables using var_list, but didn't work as well...
    print("Model saved in file: %s" % save_path)

为清楚起见,检查点文件具有

fcl1/Variable:0

fcl1/Variable_1:0

fcl2/Variable:0

fcl2/Variable_1:0

fclf/Variable:0

fclf/Variable_1:0

outputl/Variable:0

outputl/Variable_1:0

由于原来的4层模型没有"增强"层.

Answer 1

在这种情况下,从检查点读取增值的值看起来并不正确,我认为这不是你想要做的.显然你会收到错误,因为在恢复变量时,你首先要捕获模型中所有变量的列表,然后在检查点中查找相应的变量,而这些变量没有变量.

您可以通过定义模型变量的子集来仅恢复模型的一部分.例如,您可以使用tf.slim库来完成.获取模型中的变量列表:

variables = slim.get_variables_to_restore()

现在变量是张量列表,但是对于每个元素,您可以访问其name属性.使用它您可以指定您只想恢复除了增强之外的图层,例如:

variables_to_restore = [v for v in variables if v.name.split('/')[0]!='boosting'] 
model_path = 'your/model/path'

saver = tf.train.Saver(variables_to_restore)

with tf.Session() as sess:
    saver.restore(sess, model_path)

这样,您将恢复4层.从理论上讲,你可以尝试通过创建另一个只在变量列表中提升并从检查点重命名所选变量的服务器来从检查点捕获一个变量的值,但我真的不认为这是你需要的.

由于这是模型的自定义图层,并且您在任何地方都没有此变量,因此只需在工作流程中初始化它,而不是尝试导入它.例如,您可以通过在调用函数fully_connected时传递此参数来执行此操作:

weights_initializer = slim.variance_scaling_initializer()

你需要自己检查细节,因为我不确定你的进口是什么以及你在这里使用的是哪些功能.

一般来说,我建议你看一下slim库,这样你就可以更容易地为图层定义一个模型和范围(而不是用它来定义它,你可以在调用函数时传递一个scope参数).看起来像苗条的东西:

boost = slim.fully_connected(input, number_of_outputs, activation_fn=None, scope='boosting', weights_initializer=slim.variance_scaling_initializer())