使用 Tensorflow Serving 进行双向流式传输

Question

我有一个模型，它接受任意长度的数据流并执行分类。我使用 Tensorflow Serving 监听 gRPC 请求并对经过训练的模型执行分类。

\n\n

Google Cloud Speech API 具有“流式语音识别”功能，该功能在使用 gRPC 请求时可用，该功能“允许您将音频流式传输到 Cloud Speech API，并在音频播放时实时接收语音识别结果流”。处理”。

\n\n

我相信这是可能的，因为gRPC 文档中描述了双向流 RPC ，其中“服务器和客户端可以 \xe2\x80\x9cping-pong\xe2\x80\x9d：服务器收到请求，然后发回响应，然后客户端根据响应发送另一个请求，依此类推”。

\n\n

所以现在我想知道是否可以使用 Tensorflow Serving 实现类似于 Google Cloud Speech API 流识别的功能。我在 TF Serving 的官方文档中可以找到的关于此的唯一参考资料（除非我错过了一些内容）是在描述未来可能的改进时：“Servable 可以是任何类型和接口，从而实现灵活性和未来的改进，例如：流结果[。 ..]”。

\n\n

使用 TF Serving 是否已经可以实现此功能（双向流）？如果是这样，怎么办？如果没有，扩展 TF Serving 以添加此功能的最佳方法是什么？

\n

Answer 1

目前看来，这实际上是不可用的。我已在 TensorFlow Serving GitHub 存储库上提交了功能请求，但被拒绝并收到以下响应：

TF-Serving 目前不支持这种开箱即用的用例，但正如您所提到的，可以利用其可扩展性来实现这一点，而无需对内部进行重大手术。我们目前没有任何短期计划将其添加到官方发行版中。

他们也不愿意给予任何指导：

不幸的是，这超出了我们目前可以支持的范围，因此您必须设计一个解决方案并将其保存在您自己的存储库中。