我有一个连续运行的Spark Streaming作业.我如何优雅地停止工作？我已经阅读了在作业监视中附加关闭钩子并将SIGTERM发送到作业的通常建议.
sys.ShutdownHookThread {
logger.info("Gracefully stopping Application...")
ssc.stop(stopSparkContext = true, stopGracefully = true)
logger.info("Application stopped gracefully")
}
它似乎工作,但看起来不是最简单的方法来阻止这项工作.我在这里错过了什么吗？
从代码的角度来看,它可能有意义,但您如何在群集环境中使用它？如果我们启动一个火花流工作(我们在集群中的所有节点上分配作业),我们将不得不跟踪作业的PID和运行它的节点.最后,当我们必须停止进程时,我们需要跟踪作业运行的节点以及该进程的PID.我只是希望流媒体作业有一种更简单的工作控制方式.