为什么我的任务在Spark UI中的“任务总数”上方成功？

Question

我以为成功等于失败的总数。

这些数字从何而来？

这些数字表明存在问题，还是根本不重要？

Answer 1

第一个数字 (3660) 是成功任务的数量。第二个数字（1830）是该阶段的任务数。您的阶段运行了两次，因此成功的任务数量是阶段中任务数量的两倍。

当多个后续阶段依赖于某个阶段并且它们未被缓存或尚未部分从缓存中逐出时，该阶段可以部分或全部重新执行。

另一种可以使成功任务数高于总数的方法是使用推测执行。