KubeFlow 上的 TFServing 和 KFServing 有何不同

Question

TFServin 和 KFServing 都将模型部署在 Kubeflow 上，让用户轻松地将模型作为服务使用，不需要了解 Kubernetes 的详细信息，隐藏了基础层。

• TFServing 来自 TensorFlow，它也可以在 Kubeflow 上运行或独立运行。kubeflow 上的 TFserving

• KFServing来自 Kubeflow，可以支持 PyTorch、TensorFlow、MXNet 等多种框架。

我的问题是这两个项目之间的主要区别是什么。

如果我想在生产中启动我的模型，我应该使用哪个？哪个性能更好？

Answer 1

KFServing 是推理之上的抽象，而不是替代。它旨在简化部署并使推理客户端不知道推理服务器在幕后执行的实际工作是什么（TF Serving、Triton（以前称为 TRT-IS）、Seldon 等）。它通过寻求推理服务器供应商就推理数据平面规范达成一致来实现这一点，该规范允许额外的组件（例如转换和解释器）更加可插拔。