为什么 spark 会杀死任务？
St.*_*rio 2 java scala apache-spark
我正在运行一个 Spark 计算应用程序，我经常遇到任务终止的一些问题。这是它在我的 spark 控制台中的样子：
可以看出，有些职位的描述是 ( _num_ killed: another attempt succeeded)。这不仅仅是失败，这是不同的东西。有人可以解释它是什么吗？
如果一项任务似乎需要很长时间才能完成，Spark 可能会启动该任务的额外副本，以防它们可以更快完成。这被称为投机或投机执行。如果一个副本成功，其他副本可以被杀死。
查看以spark.speculation这里开头的参数：https : //spark.apache.org/docs/latest/configuration.html
| 归档时间： |
|
| 查看次数： |
2547 次 |
| 最近记录： |