完成所有作业后自动关闭Google Dataproc集群

Question

完成所有作业后，如何以编程方式自动关闭Google Dataproc集群？

Dataproc 提供创建，监视和管理。但是看来我找不到如何删除群集。

Answer 1

CLIgcloud dataproc界面提供了该max-idle选项。这会在 x 次不活动（即没有正在运行的作业）后自动终止 Dataproc 集群。它可以按如下方式使用：

gcloud dataproc clusters create test-cluster \
    --project my-test-project \
    --zone europe-west1-b \
    --master-machine-type n1-standard-4 \
    --master-boot-disk-size 100 \
    --num-workers 2 \
    --worker-machine-type n1-standard-4 \
    --worker-boot-disk-size 100 \
    --max-idle 1h

Answer 2

有几种可编程方法可以自动关闭集群：

1. 直接调用REST api
2. 使用gcloudCLI

在您的作业完成执行后，可以使用（调用）其中任何一个。

在此处查看更多信息： https ://cloud.google.com/dataproc/docs/guides/manage-cluster#delete_a_cluster