我如何调用 AWS SageMaker 终端节点来获取推论？

Question

我想在 SageMaker 的帮助下使用我的机器学习模型进行实时预测。我想直接在我的网站上获得推论。如何使用部署的模型进行预测？

Answer 1

Sagemaker 端点不会公开暴露于 Internet。因此，您需要某种方式来创建可以将请求路由到您的 Sagemaker 端点的公共 HTTP 端点。一种方法是使用以 API 网关为前端的 AWS Lambda 函数。

我创建了一个示例 Web 应用程序，它获取网络摄像头图像并将它们传递到 Sagemaker 端点进行分类。这使用了我上面描述的 API Gateway -> Lambda -> Sagemaker 端点策略。您可以在此 GitHub 存储库中查看整个示例，包括有关如何设置 Lambda（以及放入 lambda 的代码）的说明：https : //github.com/gabeholombe-aws/webcam-sagemaker-inference/

Answer 2

您可以使用 API Gateway 或 Lambda 调用 SageMaker 终端节点。

拉姆达：

使用 sagemaker aws sdk 并使用 lambda 调用端点。

API网关：

使用 API Gateway 并通过 AWS 服务代理将参数传递到终端节点。

带有示例的文档：

https://aws.amazon.com/blogs/machine-learning/call-an-amazon-sagemaker-model-endpoint-using-amazon-api-gateway-and-aws-lambda/

希望能帮助到你。