Google Cloud-ml的自定义代码容器以进行推断

Question

我知道可以在Google Cloud上部署用于培训作业的自定义容器，并且我已经能够使用command来运行相同的容器。

gcloud ai-platform jobs submit training infer name --region some_region --master-image-uri=path/to/docker/image --config config.yaml

训练工作已成功完成，并且模型已成功获得。现在，我想使用该模型进行推理，但是问题是我的代码具有系统级依赖关系，因此我必须对体系结构进行一些修改才能让它一直运行。这就是首先要为培训工作提供定制容器的原因。

该文档仅适用于培训部分和推断部分（如果可能的话），而据我所知，尚未使用自定义容器进行探索。

培训部分的文档可在此链接上找到

我的问题是，是否可以在Google Cloud-ml上出于推理目的部署自定义容器？

Answer 1

此回复指的是使用 Vertex AI Prediction，这是 GCP 上最新的 ML 平台。

假设您将训练作业中的模型工件写入云存储。

下一步是创建自定义容器并推送到注册表，方法如下：

本节介绍如何将模型工件目录传递到自定义容器以用于交互：

您还需要创建一个端点才能部署模型：

最后，您可以将gcloud ai endpoints deploy-model ...模型部署到端点：