Vertex AI 自定义容器批量预测

Question

我创建了一个用于预测的自定义容器，并成功将模型上传到 Vertex AI。我还能够将模型部署到端点并成功从端点请求预测。在自定义容器代码中，我使用此处parameters描述的字段，稍后在发出在线预测请求时提供该字段。我的问题是关于从自定义容器请求批量预测以进行预测。

1. 我找不到任何描述我请求批量预测时会发生什么的文档。举例来说，我使用my_model.batch_predictPython SDK 中的函数并将 设为instances_format“csv”并提供gcs_source. 现在，我已设置自定义容器以期望预测请求，/predict如本文档中所述。Vertex AI 是否向此路径发出 POST 请求，将 cvs 数据转换为适当的 POST 正文？

2. 如何parameters像在线预测一样指定批量预测的字段？

Answer 1

1. 是的，vertex AI 在批量预测中向您的自定义容器发出 POST 请求。

2. 不，批量预测无法传递 a，parameter因为我们不知道哪一列是“参数”。我们把一切都放入“实例”中。