有没有办法找出Spark Web UI使用的端口？

Question

我在Jupyter中用类似这样的东西开始我的Spark会话:

from pyspark.sql import SparkSession

spark = ( SparkSession
            .builder
            .appName('analysis')
            .getOrCreate() )

有没有办法找出Web UI使用的端口？谢谢!

Answer 1

你可以使用uiWebUrl财产:

>>> spark.sparkContext.uiWebUrl
'http://some_host:4040'

例如拆分

>>> spark.sparkContext.uiWebUrl.split(":")[-1]
'4040'