spark_local_dirs 有多少个磁盘？

Question

我正在寻找一种解决方案来提高我的 Spark 集群性能，我已从http://spark.apache.org/docs/latest/hardware-provisioning.html阅读：

我们建议每个节点有 4-8 个磁盘

，我已经尝试过使用一个和两个磁盘，但我发现使用 2 个磁盘时执行时间增加了一倍。对此有何解释？

这是我的配置：1 台机器，140 GB RAM，2 个磁盘和 32 个 CPU（我知道这是一个不寻常的配置），在此我有一个带有 1 个 Worker 的独立 Spark 集群。