Tensorflow服务 - 有状态LSTM

Ash*_*mer 9 lstm tensorflow gated-recurrent-unit tensorflow-serving

是否有规范的方法来维持Tensorflow服务的有状态LSTM等?

直接使用Tensorflow API这很简单 - 但我不确定在将模型导出到Serving之后如何最好地在调用之间实现持久的LSTM状态.

有什么例子可以实现上述目标吗?回购中的样品非常基本.

Ash*_*mer 5

来自 TF 邮件列表上的 Martin Wicke:

“模型服务器中的有状态模型还没有很好的集成。正如你所指出的,它基本上假设模型是纯函数。我们正在研究这个,你应该会看到这个功能最终出现,但距离承诺一个太远了因此,与此同时,您可以编写一个简单的包装器来保持服务器上的状态(并分配某种在请求中传递的会话 ID),或者您可以编写自己的服务器来维护 TensorFlow 会话状态(和类似地返回一些会话 ID。后者性能更高。两者都需要某种垃圾收集/会话超时逻辑。”