Nir*_*Nir 17 python machine-learning tensorflow tensorflow-serving
在高流量应用中使用TensorFlow进行实时预测的正确方法是什么.
理想情况下,我将有一个服务器/集群运行tensorflow监听端口,我可以从应用服务器连接,并获得类似于数据库使用方式的预测.培训应该由cron作业通过网络将培训数据提供给同一服务器/集群来完成.
如何在生产中实际使用张量流？我应该构建一个python作为服务器运行的设置并使用python脚本来获取预测吗？我还是新手,但我觉得这样的脚本需要打开会话等......这是不可扩展的.(我说的是每秒100次预测/秒).
任何指向相关信息的指针都将受到高度赞赏.我找不到任何东西.
mrr*_*rry 18
今天早上,我们的同事在GitHub上发布了TensorFlow服务,它解决了你提到的一些用例.它是TensorFlow的分布式包装器,旨在支持多个模型的高性能服务.它支持来自应用服务器的批量处理和交互式请求.