使用Flask为REST API提供训练有素的Tensorflow模型？

Question

我有一个训练有素的Tensorflow模型,我想用REST API提供预测方法.我能想到的是使用Flask构建一个接收JSON作为输入的简单REST API,然后在Tensorflow中调用predict方法,然后将预测结果返回给客户端.

我想知道是否有任何关注,特别是在生产环境中这样做？

非常感谢!

Answer 1

我首先想到的是性能。

TensorFlow 团队似乎已经解决了服务器/客户端的使用问题。您可能想研究一下张量流服务。默认情况下，它使用 gRPC 作为通信协议。