我编写了一个example.jar使用 spark 上下文的程序。如何在使用 Slurm 的集群上运行它？这与/sf/ask/2051574171/有关，但答案不是很详细，也不是关于 serverfault。
我正在寻找一种解决方案来提高我的 Spark 集群性能，我已从http://spark.apache.org/docs/latest/hardware-provisioning.html阅读：
我们建议每个节点有 4-8 个磁盘
，我已经尝试过使用一个和两个磁盘，但我发现使用 2 个磁盘时执行时间增加了一倍。对此有何解释？
这是我的配置：1 台机器，140 GB RAM，2 个磁盘和 32 个 CPU（我知道这是一个不寻常的配置），在此我有一个带有 1 个 Worker 的独立 Spark 集群。
我们的 Spark Thrift 服务器几乎没有问题。这是一个新的 Ambari 集群，现在没有运行 Spark 作业。
从日志中我们可以看到一条错误信息：
Failed to send RPC 9053901149358924945 to /DATA NODE MACHINE:50149
请建议为什么会发生这种情况，解决方案是什么？
Failed to send RPC 9053901149358924945 to /DATA NODE MACHINE:50149: java.nio.channels.ClosedChannelException
more spark-hive-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master03.sys67.com.out
Spark Command: /usr/jdk64/jdk1.8.0_112/bin/java -Dhdp.version=2.6.0.3-8 -cp /usr/hdp/current/spark2-thriftserver/conf/:/usr/hdp/current/spark2-thriftserver/jars/*:/usr/hdp/c
urrent/hadoop-client/conf/ -Xmx10000m org.apache.spark.deploy.SparkSubmit --conf spark.driver.memory=15g --properties-file /usr/hdp/current/spark2-thriftserver/conf/spark-th
rift-sparkconf.conf --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server --executor-cores 7 spark-internal
========================================
Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.
18/02/07 17:55:21 ERROR TransportClient: Failed to send RPC 9053901149358924945 …