如何在 Google Cloud 中运行无服务器批处理作业

Question

我有一个需要几个小时才能运行的批处理作业。如何在 Google Cloud 上以无服务器方式运行它？

AppEngine、Cloud Functions 和 Cloud Run 的时间限制为 10-15 分钟。我不想在 Apache Beam 中重写我的代码。

是否有等效于 Google Cloud 上的 AWS Batch？

Answer 1

AI Platform Training 是无服务器且长期存在的。将批处理代码包装在 Docker 容器中，推送到 gcr.io，然后执行以下操作：

gcloud ai-platform jobs submit training gpu_function \
       --scale-tier BASIC \ 
       --region $REGION \ 
       --master-image-uri gcr.io/$PROJECT_ID/some-image-name

你可以运行任意的 Docker 容器——它不一定是机器学习工作。有关详细信息，请参阅：

https://cloud.google.com/ml-engine/docs/custom-containers-training

Answer 2

最后，Google 发布了（目前处于测试版）Cloud Batch，它完全可以满足您的需求。您推送作业（容器或脚本），它就会运行。就那么简单。 https://cloud.google.com/batch/docs/get-started