在本地模式下运行 Spark 应用程序

Question

我正在尝试使用 spark-submit 在本地模式下启动我的 Spark 应用程序。我在 Windows 上使用 Spark 2.0.2、Hadoop 2.6 和 Scala 2.11.8。该应用程序在我的 IDE (IntelliJ) 中运行良好，我还可以在具有实际物理执行程序的集群上启动它。

我正在运行的命令是

spark-submit --class [MyClassName] --master local[*] target/[MyApp]-jar-with-dependencies.jar [Params]

Spark 照常启动，但随后终止

java.io.Exception: Failed to connect to /192.168.88.1:56370

我在这里缺少什么？

Answer 1

检查您正在使用哪个端口：如果在集群上：登录到主节点并包括：

--master spark://XXXX:7077

你总是可以在spark ui的8080端口下找到它

如果您已经设置了 master，还要检查您的 Spark 构建器配置，因为它在启动时具有优先权，例如：

val spark = SparkSession
  .builder
  .appName("myapp")
  .master("local[*]")