如何使用张量流服务为pytorch或sklearn模型提供服务

Question

我发现了一些教程和帖子，其中仅说使用张量服务来提供张量流模型。在model.conf文件中，有一个参数model_platform，其中可以提及tensorflow或任何其他平台。但是我们如何以张量流的方式导出其他平台模型，以便可以通过张量流服务加载它。

Answer 1

我不确定你是否可以。该tensorflow平台被设计得非常灵活，但如果您确实想使用它，您可能需要实现一个 C++ 库来加载您保存的模型（在 protobuf 中）并向 TensorFlow 服务平台提供可服务。这是一个类似的问题。

我还没有看到这样的实现，我所看到的努力通常会朝着另外两个方向发展：

1. 例如，通过 HTTP 或 GRPC 为模型提供服务的纯 Python 代码。比如Pipeline.AI正在开发的东西
2. 以PMML 格式转储模型，并使用 java 代码提供服务。