使用命令提示符杀死 Spark 作业

Question

从终端终止 spark 作业的命令是什么。我不想通过 spark UI 终止正在运行的 spark 作业

Answer 1

如果您使用纱线运行

yarn application -kill applicationID

从 WEB UI 或列表中获取应用程序 ID yarn application -list

./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

或者您可以spark-submit通过命令查看idjps并终止进程，但这不是建议的方式

Answer 2

查看正在运行的应用程序列表

yarn application -list 

杀死

yarn application -kill appid