小编dOx*_*xxx的帖子

如何使Spark驱动程序对Master重启有弹性?

我有一个Spark Standalone(不是YARN/Mesos)集群和一个运行(在客户端模式下)的驱动程序应用程序,它与该集群通信以执行其任务.但是,如果我关闭并重新启动Spark主服务器和工作程序,则驱动程序不会重新连接到主服务器并恢复其工作.

也许我对Spark Master和驱动程序之间的关系感到困惑.在这种情况下,主人是否负责重新连接到驱动程序?如果是这样,主服务器是否将其当前状态序列化到某个可以在重启时恢复的磁盘?

apache-spark apache-spark-standalone

7
推荐指数
1
解决办法
1066
查看次数