我理解工作节点是如何容错的,但是如果你的驱动程序出于某种意外原因而崩溃会发生什么？(掉电/记忆问题等).
我想你会失去所有的工作,因为读取结果的代码不再运行,或Spark是否知道如何重新启动它？如果是这样的话？
正如@zsxwing指出的那样取决于你如何运行你的驱动程序.除了在yarn中运行之外,您还可以使用集群的部署模式运行您的作业(这是spark-submit的参数).在Spark Streaming中,您指定--supervise,Spark将为您重新启动作业.详细信息在Spark Streaming Guide中.
| 归档时间： |
|
| 查看次数： |
5668 次 |
| 最近记录： |