pySpark 检查数据框是否存在

Question

有没有办法检查pySpark中是否存在数据框？

我知道在本机 python 中，检查数据帧是否存在：

exists(df_name) && is.data.frame(get(df_name))

这如何在 pySpark 中完成？由于命令exists引发错误。

Answer 1

它与 Petel 代码相同。您可以导入数据帧类型。

 from pyspark.sql import DataFrame

 df= sc.parallelize([
 (1,2,3), (4,5,7)]).toDF(["a", "b", "c"])

 if df is not None and isinstance(df,DataFrame):
      #<some operation>
      print("dataframe exists")

Answer 2

我想你想知道是否df_name已定义并指向DataFrame. df_name上面的答案都没有处理未设置的情况。这会：

from pyspark.sql import DataFrame

try:
  if df_name is not None and isinstance(df_name,DataFrame):
    print('df_name exists')

except NameError as error:
  print('df_name does not exist and not defined')