记录请求由tensorflow服务模型提供

Question

我使用tesnorflow服务构建了一个模型,并使用此命令在服务器上运行它: -

bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9009 --model_name=ETA_DNN_Regressor --model_base_path=//apps/node-apps/tensorflow-models-repository/ETA

但是现在这个屏幕停滞不前,没有提供任何关于传入请求和共鸣的信息.我尝试使用TF_CPP_MIN_VLOG_LEVEL = 1标志.但现在它提供了如此多的输出,仍然没有记录/监视传入的请求/响应.

请建议如何查看这些日志.

我面临的第二个问题是如何在后台运行此过程并不断监视它.让我们假设我关闭了控制台,然后这个过程也应该运行,以及如何再次重新连接该过程控制台并查看实时流量.

任何建议都会有所帮助.

Answer 1

当您运行下面的命令时，您将启动一个张量流模型服务器进程，该进程通过端口号（此处为 9009）为模型提供服务。

bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9009 
--model_name=ETA_DNN_Regressor --model_base_path=//apps/node-apps/tensorflow- 
models-repository/ETA

您在这里不是显示日志，而是正在运行的模型服务器。这就是画面停滞的原因。您需要使用该标志-v=1以在控制台上显示日志

bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server -v=1 --port=9009 --model_name='model_name' --model_base_path=model_path

现在开始记录/监视传入的请求/响应。当 VLOG 设置为 1 时，您无法监控传入的请求/响应。VLOG 称为详细日志。您需要使用log level 3来显示所有错误、警告和一些与处理时间相关的信息性消息（INFO1 和 STAT1）。请查看给定的链接，了解有关 VLOGS 的更多详细信息。http://webhelp.esri.com/arcims/9.2/general/topics/log_verbose.htm

现在转移你的第二个问题。我建议您使用 Tensorflow 服务提供的环境变量export TF_CPP_MIN_VLOG_LEVEL=3而不是设置标志。在启动服务器之前设置环境变量。之后，请输入以下命令来启动服务器并将日志存储到名为的日志文件中mylog

bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9009 --model_name='model_name' --model_base_path=model_path &> my_log &。即使您关闭控制台，所有日志也会在模型服务器运行时存储。希望这可以帮助。