如何从保存的元图中恢复我的损失？

Question

我已经构建了一个运行良好的简单 tensorflow 模型。在训练时，我保存了 meta_graph 以及不同步骤的一些参数。

之后（在新脚本中）我想恢复保存的 meta_graph 并恢复变量和操作。

一切正常，但只有

with tf.name_scope('MSE'):
    error = tf.losses.mean_squared_error(Y, yhat, scope="error")

不会被恢复。使用以下行

mse_error = graph.get_tensor_by_name("MSE/error:0")

“名称‘MSE/error:0’指的是一个不存在的张量。图中不存在操作‘MSE/error’。”

出现此错误消息。

由于我对其他没有任何错误恢复的变量和操作执行完全相同的过程，因此我不知道如何处理。唯一的区别是 tf.losses.mean_squared_error 函数中只有 scope 属性，没有 name 属性。

那么如何用范围恢复丢失操作呢？

这是我如何保存和加载模型的代码。

保存：

# define network ...
saver = tf.train.Saver(max_to_keep=10)

sess = tf.Session()
sess.run(tf.global_variables_initializer())

for i in range(NUM_EPOCHS):
    # do training ..., save model all 1000 optimization steps
    if (i + 1) % 1000 == 0:
        saver.save(sess, "L:/model/mlp_model", global_step=(i+1))

恢复：

# start a session
sess=tf.Session()
# load meta graph
saver = tf.train.import_meta_graph('L:\\model\\mlp_model-1000.meta')
# restore weights
saver.restore(sess, tf.train.latest_checkpoint('L:\\model\\'))

# access network nodes
graph = tf.get_default_graph()
X = graph.get_tensor_by_name("Input/X:0")
Y = graph.get_tensor_by_name("Input/Y:0")

# restore output-generating operation used for prediction
yhat_op = graph.get_tensor_by_name("OutputLayer/yhat:0")
mse_error = graph.get_tensor_by_name("MSE/error:0") # this one doesn't work

Answer 1

为了让您的训练退后一步，文档建议您在保存之前将其添加到集合中，以便在恢复图形后能够指向它。

保存：

saver = tf.train.Saver(max_to_keep=10)
# put op in collection
tf.add_to_collection('train_op', train_op)
...

恢复：

saver = tf.train.import_meta_graph('L:\\model\\mlp_model-1000.meta')
saver.restore(sess, tf.train.latest_checkpoint('L:\\model\\'))
# recover op through collection
train_op = tf.get_collection('train_op')[0]

为什么您按名称恢复张量的尝试失败了？

你确实可以通过它的名字来得到张量——问题是你需要正确的名字。请注意，您的error参数 totf.losses.mean_squared_error是范围名称，而不是返回操作的名称。这可能会令人困惑，因为其他操作（例如tf.nn.l2_loss）接受name参数。

最后，您的error操作的名称是MSE/error/value:0，您可以使用它按名称获取它。

也就是说，直到将来更新 tensorflow 时它再次中断。tf.losses.mean_squared_error不给你任何关于它的输出名称的保证，所以它很可能由于某种原因而改变。

我认为这就是使用集合的动机：对您无法控制的运算符名称缺乏保证。

或者，如果由于某种原因你真的想使用名称，你可以像这样重命名你的操作符：

with tf.name_scope('MSE'):
  error = tf.losses.mean_squared_error(Y, yhat, scope='error')
  # let me stick my own name on it
  error = tf.identity(error, 'my_error')

那么你就可以graph.get_tensor_by_name('MSE/my_error:0')放心的依靠了。