Mesos 上的 Apache Spark：初始作业未接受任何资源

Question

我正在使用 Apache Mesos 在集群模式下运行 Apache Spark。但是，当我启动 Spark-Shell 运行简单的测试命令 (sc.parallelize(0 to 10, 8).count) 时，我收到以下警告消息：

10 年 3 月 16 日 11:50:55 警告 TaskSchedulerImpl：初始作业尚未接受任何资源；检查集群 UI 以确保工作线程已注册并拥有足够的资源

如果我检查 Mesos WebUI，我可以看到 Spark-Shell 被列为一个框架，并且我列出了一个从机（我自己的机器）。有什么帮助如何解决它吗？

Answer 1

虽然大多数其他答案都集中在 Spark 从站上的资源分配（核心、内存），但我想强调防火墙可能会导致完全相同的问题，特别是当您在云平台上运行 Spark 时。

如果您可以在 Web UI 中找到 Spark Slave，则您可能已经打开了标准端口 8080、8081、7077、4040。尽管如此，当您实际运行作业时，它会使用SPARK_WORKER_PORT，spark.driver.port并且spark.blockManager.port默认情况下是随机分配的。如果您的防火墙阻止这些端口，则主服务器无法从从服务器检索任何特定于作业的响应并返回错误。

您可以通过打开所有端口来运行快速测试，看看从站是否接受作业。