小编And*_*ith的帖子

Spark在边缘节点上提交

我正在通过我的边缘节点提交我的 Spark-submit 命令。为此,我使用客户端模式,现在我通过笔记本电脑访问我的边缘节点(与我的集群位于同一网络上)。我知道驱动程序在我的边缘节点上运行,我想知道的是,为什么当我关闭与边缘节点的 ssh 会话时,我的 Spark 作业会自动挂起?与使用网络内的以太网电缆相比,通过 VPN/无线互联网打开边缘节点 putty 连接是否会对 Spark 作业产生影响?目前,尽管集群非常强大,但 Spark 提交作业非常慢!请帮忙!

谢谢!

hadoop hdfs hadoop-yarn apache-spark

4
推荐指数
1
解决办法
7763
查看次数

标签 统计

apache-spark ×1

hadoop ×1

hadoop-yarn ×1

hdfs ×1