Tensorflow对象检测API具有缓慢的推理时间和tensorflow服务

Sid*_*d M 5 object-detection tensorflow tensorflow-serving tensorflow-gpu object-detection-api

我无法匹配Google报告的模型动物园中发布的模型的推断时间.具体来说,我正在尝试他们的faster_rcnn_resnet101_coco模型,其中报告的推理时间是106ms在Titan X GPU上.

我的服务系统使用TF 1.4在由Google发布的Dockerfile构建的容器中运行.我的客户端是在Google发布的初始客户端之后建模的.

我正在运行Ubuntu 14.04,TF 1.4和1 Titan X.我的总推理时间比谷歌报告的差330倍~330ms.制作张量原型需要~150ms,Predict需要~180ms.我saved_model.pb是直接从模型动物园下载的tar文件.有什么我想念的吗?我可以采取哪些步骤来缩短推理时间?

Vik*_*pta 2

非最大抑制可能是瓶颈: https: //github.com/tensorflow/models/issues/2710

图像尺寸是 600x600 吗?