Spark Kill运行应用程序

Question

我有一个正在运行的Spark应用程序,它占用了我的其他应用程序不会分配任何资源的所有核心.

我做了一些快速的研究,人们建议使用YARN kill或/ bin/spark-class来杀死命令.但是,我使用CDH版本和/ bin/spark-class甚至根本不存在,YARN kill应用程序也不起作用.

任何人都可以和我一起吗？

Answer 1

• 从spark调度程序复制过应用程序ID,例如application_1428487296152_25597
• 连接到已启动作业的服务器
• yarn application -kill application_1428487296152_25597

Answer 2

从 YARN 中获取所有应用程序 ID 并一一杀死它们可能很耗时。您可以使用 Bash for 循环来快速有效地完成此重复性任务，如下所示：

杀死 YARN 上处于 ACCEPTED 状态的所有应用程序：

for x in $(yarn application -list -appStates ACCEPTED | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

杀死 YARN 上处于 RUNNING 状态的所有应用程序：

for x in $(yarn application -list -appStates RUNNING | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

Answer 3

第一次使用：

yarn application -list

记下应用程序 id 然后杀死使用：

yarn application -kill application_id