如何将pyspark.sql.dataframe.DataFrame转换回databricks笔记本中的sql表

Question

我pyspark.sql.dataframe.DataFrame通过执行以下行创建了一个类型的数据框: dataframe = sqlContext.sql("select * from my_data_table")

我怎样才能将它转换回我可以运行sql查询的sparksql表？

Answer 1

您可以使用createReplaceTempView创建表。在您的情况下，它将像：

dataframe.createOrReplaceTempView("mytable")

之后，您可以mytable使用SQL查询。

如果您的Spark版本是？1.6.2可以使用registerTempTable