在等待实时预测输入时将tensorflow估计器保存在内存中

Question

我有一个训练有素的估算器，当有新输入数据输入时，我会用它进行实时预测。

在代码的开头，我实例化了估算器：

estimator = tf.estimator.Estimator(
    model_fn=model_fn,
    model_dir="{}/model_dir_{}".format(script_dir, 3))

然后，在循环中，每当我获得足够的新数据进行预测时，我都会这样做：

predict_input_fn = tf.estimator.inputs.numpy_input_fn(
    x={"x": np.array([sample.normalized.input_data])},
    num_epochs=1,
    shuffle=False)
predictions = estimator.predict(
    input_fn=predict_input_fn,
)

每次执行此操作时，我都会在控制台中收到以下tensorflow消息：

2018-04-21 16：01：08.401319：I tensorflow / core / common_runtime / gpu / gpu_device.cc：1195]创建TensorFlow设备（/ device：GPU：0）->（设备：0，名称：GeForce GTX 1060 6GB ，PCI总线ID：0000：04：00.0，计算能力：6.1）

INFO：tensorflow：从/home/fgervais/tf/model_dir_3/model.ckpt-103712恢复参数

似乎整个GPU检测过程和模型加载都在每个预测上都完成了。

有没有办法在实时输入之间将模型保持在内存中，以便获得更好的预测率？

Answer 1

解决方案是使用预测器。

在问题的特定上下文中，将这样进行：

def serving_input_fn():
    x = tf.placeholder(dtype=tf.float32, shape=[3500], name='x')
    inputs = {'x': x }

    return tf.estimator.export.ServingInputReceiver(inputs, inputs)

estimator = tf.estimator.Estimator(
    model_fn=model_fn,
    model_dir="{}/model_dir_{}/model.ckpt-103712".format(script_dir, 3))

estimator_predictor = tf.contrib.predictor.from_estimator(
                            estimator, serving_input_fn)

p = estimator_predictor(
        {"x": np.array(sample.normalized.input_data)})