我们的火花之一是连续循环运行(永无止境),并显示错误消息“ TaskCommitDenied(驱动程序拒绝任务提交),作业:1985,分区:886,tryNumber:7213”。这发生在2个工作中(我在sparkUi中找到了它)。而且我观察到“ attemptNumber”很高。
请在下面的屏幕快照中找到包含确切错误的日志。
错误的日志文件屏幕截图:
我假设驱动程序在执行程序上异步杀死了Fileoutputwriter,但是执行程序仍在尝试完成在hdfs上写入文件的任务。这是怎么回事?如果是,建议采取任何修复措施吗?