如何从SparkContext获取WebUI URI

Question

我在一个IPython笔记本中运行pySpark.每个笔记本都有自己的sparkContext,每个都有自己的端口上的关联webUI,从4040开始.
我想提取并打印端口或URI,这样我就可以浏览到正确的webUI.我怎样才能得到这个信息？

Answer 1

您可以通过直接隧道连接到底层Scala SparkContext来获取SparkUI页面的完整URL:

>>> sc._jsc.sc().uiWebUrl().get()
u'http://192.168.0.59:6970'

这有点不方便,所以我刚刚提交了一个添加访问器的Pull Request,所以你可以简单地做:

>>> sc.uiWebUrl
u'http://192.168.0.59:6970'

希望这将合并到下一个版本中,但如果没有,您可以使用链接分支中的更改简单地修补您自己的Spark副本(或使用上面的丑陋长表).

编辑: PR确实已合并,因此sc.uiWebUrl上面的语法现在可以在没有任何修补的情况下使用最新版本的Spark.