如何从Spark保存Feather格式\存储文件？

Question

是否可以将数据帧从Apache Spark导出到feather(https://github.com/wesm/feather)文件？

Answer 1

不确定，您可以直接执行此操作，但您可以首先将 Spark Dataframe（在 pyspark 上）转换为 pandas 并将其存储到 Feather：

pandas_df = spark_df.toPandas()

feather.write_feather(pandas_df, 'example_feather')

但恐怕这会对性能产生影响。