Spark:如何在不退出shell的情况下终止运行进程?

Ric*_*ard 28 apache-spark

如何在不退出的情况下在本地OSX机器上的Spark shell中终止正在运行的进程?

例如,如果我只是.count()在RDD上做一个简单的操作,它可能需要一段时间,有时我想杀死它.

但是,如果我这样做,Ctrl C它会杀死整个shell.

有没有办法杀死进程而不是shell?

小智 5

您可以使用主Web界面来终止或可视化作业.您还可以找到其他内容,例如日志文件或群集工作图表......


Rad*_*adu 2

摘自 Spark 文档:

然后,如果您希望终止反复失败的应用程序,您可以通过以下方式执行此操作:
./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

链接: http: //spark.apache.org/docs/latest/spark-standalone.html