停止 Kubernetes 集群上运行的 Spark 作业的最优雅/正确的方法是什么？

Question

我是 apache Spark 的新手，我正在尝试在 Kubernetes 集群上使用 Spark-submit 运行 Spark 作业。我想知道一旦驱动程序和执行程序 Pod 产生，是否有正确的方法来停止 Spark 作业？删除 Pod 本身就足够了吗？

谢谢！

Answer 1

当您删除它时，executor它将再次重新创建，并且 Spark 应用程序将运行。但是，如果您删除driverPod，它将停止应用程序。

所以杀死driver pod实际上就是在执行过程中停止Spark Application的方式。

由于您是新手Spark并且想在 Kubernetes 上运行它，因此您应该查看本教程。