如何通过 livy 终止 Spark/Yarn 工作

Question

我正在尝试使用rest api 通过livy 提交spark 作业。但是，如果我多次运行相同的脚本，它会运行具有不同作业 ID 的作业的多个实例。我正在寻找一种方法，在开始新作业之前终止以相同名称运行的 Spark/Yarn 作业。Livy文档说（https://github.com/cloudera/livy#batch）删除批处理作业，但livy会话不返回应用程序名称，只返回应用程序id。

还有另一种方法可以做到这一点吗？

Answer 1

Livy 服务器停止时处于活动状态的会话可能需要手动终止。使用集群管理器中的工具来实现这一点（例如，yarn 命令行工具）。

\n\n

运行以下命令查找通过 Livy 启动的交互式作业的应用程序 ID。

\n\n

纱线应用-列表

\n\n

运行以下命令来终止这些作业。

\n\n

纱线应用程序\xe2\x80\x93kill“应用程序ID”

\n\n

请参阅：\xe2\x80\x9c https://learn.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-known-issues#livy-leaks-interactive-session \xe2\x80\x9d。

\n