如何从iPython界面中找出pyspark的内存量？

Question

我用命令启动了

IPYTHON=1 MASTER=local[4] pyspark

Spark迎接我

Welcome to spark, version 1.2.1
SparkContext availabel as sc. 

但是使用sc,我无法找到它拥有的内存.如何找到它,如果可能的话,如何将其设置为另一个值.

Answer 1

您可以像这样查询SparkContext的配置:

sc._conf.get('spark.executor.memory')

或者,如果您对驾驶员的记忆感兴趣:

sc._conf.get('spark.driver.memory')

完整配置可以视为元组列表

sc._conf.getAll()