我正在通过我的边缘节点提交我的 Spark-submit 命令。为此,我使用客户端模式,现在我通过笔记本电脑访问我的边缘节点(与我的集群位于同一网络上)。我知道驱动程序在我的边缘节点上运行,我想知道的是,为什么当我关闭与边缘节点的 ssh 会话时,我的 Spark 作业会自动挂起?与使用网络内的以太网电缆相比,通过 VPN/无线互联网打开边缘节点 putty 连接是否会对 Spark 作业产生影响?目前,尽管集群非常强大,但 Spark 提交作业非常慢!请帮忙!
谢谢!
hadoop hdfs hadoop-yarn apache-spark
apache-spark ×1
hadoop ×1
hadoop-yarn ×1
hdfs ×1