小编Ala*_*hra的帖子

我目前有一个部署在 DataProc 集群上的 PySpark 作业（1 个主节点和 4 个具有足够内核和内存的工作节点）。此作业在数百万条记录上运行并执行昂贵的计算（多边形中的点）。我能够自己成功地运行这项工作。但是，我想将作业安排在每个月的 7 号运行。

我正在寻找的是在 DataProc 集群上设置 cron 作业的最有效方法。我试图阅读 Cloud Scheduler，但它并没有完全解释它如何与 DataProc 集群结合使用。看到 DataProc 上的 cron 作业示例或 DataProc 上的一些文档专门与 Scheduler 一起工作会非常有帮助。

提前致谢！