手动阻止Spark工作者

Question

有没有办法阻止Spark工作人员通过终端？我知道脚本:start-all.sh,stop-all.sh,stop-workers.sh等.但是,每次运行start-all.sh时,似乎都有来自先前Spark集群实例的剩余工作程序也产生了.我知道这是因为Worker Id包含创建工作人员的日期和时间戳.

因此,当我今天运行start-all.sh时,我会看到在4月初创建的7个左右的工作人员.

有没有办法杀死这些早期的工人？或者也许是一种为他们的流程名称grep的方法？

Answer 1

我过去也曾遇到过这种情况，我通常会这样做：

1）查找进程ID：

ps aux | grep spark

2）并杀死它：

sudo kill pid1