\列出Spark当前会话/内存中的所有DataFrame

Question

我在PySpark中有10个DF分配给不同的变量名,例如: var1 = DF1,var2 = DF2等等.Spark/PySpark中是否有内置函数列出内存/会话中的所有DF？或任何其他方式？

Answer 1

您可以从零323调整答案:

def list_dataframes():
    from pyspark.sql import DataFrame
    return [k for (k, v) in globals().items() if isinstance(v, DataFrame)]

如果对象已注册,则目录将有助于:

spark = ...  # SparkSession

spark.catalog.listTables()