SparkUI返回退出代码未在webUI中更新为失败 - spark submit

Question

我正在通过YARN使用Spark提交火花作业,在我的火花工作失败之后,工作仍然显示状态为SUCCEED而不是FAILED.如何将退出代码作为失败状态从代码返回到YARN？

我们如何从代码中发送不同的应用程序代码状态？

Answer 1

我认为你做不到。我在Spark-1.6.2中遇到了相同的行为，但是在分析失败之后，我没有看到任何从我的应用程序发送“错误”退出代码的明显方法。