GCP 中的 AWS Batch 模拟？

Question

我使用的是 AWS 并且是 GCP 的新手。我经常使用的一项功能是 AWS Batch，它会在提交作业时自动创建 VM，并在作业完成时删除 VM。有 GCP 对应吗？根据我的研究，最接近的是 GCP Dataflow。GCP Dataflow 文档让我找到了 Apache Beam。但是当我浏览这里的示例（链接）时，感觉与 AWS Batch 完全不同。

关于在 GCP 中提交作业进行批处理的任何建议？我的要求是简单地从 Google Cloud Storage 检索数据，使用 Python 脚本分析数据，然后将结果放回 Google Cloud Storage。这个过程可能需要一夜之间，我不希望虚拟机在工作完成但我正在睡觉时空闲。

Answer 1

更新：我现在已经使用了这项服务，我认为它非常棒。

截至 2022 年 7 月 13 日，GCP 现在拥有自己的全新完全托管批处理服务 (GCP Batch)，这似乎与 AWS Batch 非常相似。

请参阅宣布这一消息的 GCP 博客文章： https: //cloud.google.com/blog/products/compute/new-batch-service-processes-batch-jobs-on-google-cloud（也包含文档链接）

Answer 2

我建议查看dsub。它是一个开源工具，最初由 Google Genomics 团队开发，用于在 Google Cloud 上进行批处理。

Answer 3

您可以使用 AI Platform Jobs 执行此操作，它现在可以运行任意 docker 映像：

gcloud ai-platform jobs submit training $JOB_NAME \
       --scale-tier BASIC \ 
       --region $REGION \ 
       --master-image-uri gcr.io/$PROJECT_ID/some-image

如果需要，您可以定义主实例类型，甚至可以定义其他工作实例。他们应该考虑创建一个没有 AI 流行语的兄弟产品，这样人们就可以更容易地找到这个功能。