如何列出Spark shell中定义的RDD？

Question

在"spark-shell"或"pyspark"shell中,我创建了许多RDD但是我找不到任何方法可以在我当前的Spark Shell会话中列出所有可用的RDD？

Answer 1

在Python中,您可以简单地尝试globals按类型过滤:

def list_rdds():
    from pyspark import RDD
    return [k for (k, v) in globals().items() if isinstance(v, RDD)]

list_rdds()
# []

rdd = sc.parallelize([])
list_rdds()
# ['rdd']

在Scala REPL中,您应该能够以类似的方式使用$intp.definedTerms/ $intp.typeOfTerm.