加载SavedModel比加载tf.train.Saver检查点要慢很多

Question

我改为tf.train.SaverSavedModel格式,这意味着从磁盘加载我的模型要慢很多(而不是几秒钟,它需要几分钟).为什么这样做以及如何更快地加载模型？

我曾经这样做过:

# Save model
saver = tf.train.Saver()
save_path = saver.save(session, model_path)

# Load model
saver = tf.train.import_meta_graph(model_path + '.meta')
saver.restore(session, model_path)

但现在我这样做:

# Save model
builder = tf.saved_model.builder.SavedModelBuilder(model_path)
builder.add_meta_graph_and_variables(session, [tf.saved_model.tag_constants.TRAINING])
builder.save()

# Load model
tf.saved_model.loader.load(session, [tf.saved_model.tag_constants.TRAINING], model_path)

Answer 1

我该怎么做才能更快地加载模型？

切换回tf.train.Saver，因为您的问题表明没有使用 SavedModelBuilder 的动机，并且清楚地表明经过的时间对您很重要。或者，重现计时问题的MCVE将允许其他人与您协作分析、诊断和修复任何感知到的性能问题。