小编Sri*_*ada的帖子

TaskCommitDenied(驱动程序拒绝任务提交),作业:<Job#>分区:<partition#>,tryNumber:<Attempt#>

我们的火花之一是连续循环运行(永无止境),并显示错误消息“ TaskCommitDenied(驱动程序拒绝任务提交),作业:1985,分区:886,tryNumber:7213”。这发生在2个工作中(我在sparkUi中找到了它)。而且我观察到“ attemptNumber”很高。

请在下面的屏幕快照中找到包含确切错误的日志。

错误的日志文件屏幕截图:

日志文件截图错误

我假设驱动程序在执行程序上异步杀死了Fileoutputwriter,但是执行程序仍在尝试完成在hdfs上写入文件的任务。这是怎么回事?如果是,建议采取任何修复措施吗?

apache-spark apache-spark-sql

5
推荐指数
0
解决办法
877
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1