如何使用Pyspark将数据框保存到泡菜文件

Question

我必须将数据框保存到Pickle文件中，但是会返回错误

df.saveAsPickleFile(path)

AttributeError：“ Dataframe”对象没有属性“ saveAsPickleFile”

Answer 1

saveAsPickleFile是RDD不是数据帧的方法。

请参阅以下文档：http : //spark.apache.org/docs/latest/api/python/pyspark.html?highlight=pickle

因此，您可以致电：

df.rdd.saveAsPickleFile(filename)

要从文件加载它，请运行：

pickleRdd = sc.pickleFile(filename).collect()
df2 = spark.createDataFrame(pickleRdd)