打开Spark shell时出现问题

Question

我正试图用命令打开spark

$ spark-shell

但得到警告.如何解决它.

警告:

WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

Answer 1

默认情况下，Spark 会尝试绑定端口 4040。在您的情况下，已经有一个 Spark 进程在 4040 上运行。

以下消息不是错误，因为 spark 将在端口 4041 上运行：

WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

来自Spark 文档：

默认情况下，每个 SparkContext 都会在端口 4040 上启动一个 Web UI，显示有关应用程序的有用信息。这包括：

如果多个 SparkContext 在同一主机上运行，​​它们将绑定到以 4040（4041、4042 等）开头的连续端口。

Answer 2

您可以在命令提示符下运行时随时更改Spark端口

[hadoop @ localhost~] $ spark-shell --conf spark.ui.port = 4041

默认情况下,spark会进入4040