为什么spark执行者会收到SIGTERM？

Question

我正在使用Spark API(Spark核心API,而不是Stream,SQL等)我经常在spark dumped日志中看到这种错误:Spark环境:1.3.1 yarn-client

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM

1. 谁触发了SIGTERM.YARN,Spark还是我自己？
2. 这个信号会终止Spark Executor吗？如果没有,哇它会影响火花程序.

我按Ctrl + c,但那应该是SIGINT.如果YARN杀死执行者,那将是SIGKILL.

Answer 1

您可能会在纱线日志中找到原因。如果您激活了日志聚合，您可以键入

yarn logs -applicationId [app_id]

并查找异常情况。