用于 Tensorflow 服务的 Prometheus

Question

使用 Prometheus 导出器进行 Tensorflow 服务的步骤是什么？根据 1.11 TF 服务支持 prometheus 指标： https://github.com/tensorflow/serving/releases/tag/1.11.0

我从示例https://www.tensorflow.org/serving/docker启动一个 docker以及以下内容：

docker run -p 8501:8501 -p 8500:8500 \ --mount type=bind,\ source=/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,\ target=/models/half_plus_two \ -e MODEL_NAME=half_plus_two -t 张量流/服务 &

普罗米修斯配置文件：全局：scrape_interval：10s评估_间隔：10s external_labels：监视器：'tf-serving-monitor'

scrape_configs: - job_name: 'tensorflow' scrape_interval: 5s static_configs: - 目标: ['localhost:8501']

但 prometheus 无法找到 tfserving 暴露的指标。我是否应该在 docker 上打开特定端口或应该传递给 TF 服务的某些参数？

Answer 1

根据发布说明，您链接到TensorFlow 导出 Prometheus 指标/monitoring/prometheus/metrics（而不是 Prometheus 的默认值/metrics）。所以至少你需要metrics_path在配置中添加：

scrape_configs:
  - job_name: 'tensorflow'
    scrape_interval: 5s
    metrics_path: '/monitoring/prometheus/metrics'
    static_configs:
      - targets: ['localhost:8501']

但首先确保您可以在浏览器中看到从http://localhost:8501/monitoring/prometheus/metrics导出的指标。否则（使用浏览器）四处寻找，直到找到正确的 URL（并将其反映在您的配置中）。