Pyspark数据帧写入具有特定名称的单个json文件

Question

我有一个数据帧,我想把它写成具有特定名称的单个json文件.我在下面试过

df2 = df1.select(df1.col1,df1.col2)
df2.write.format('json').save('/path/file_name.json') # didnt work, writing in folder 'file_name.json' and files with part-XXX
df2.toJSON().saveAsTextFile('/path/file_name.json')  # didnt work, writing in folder 'file_name.json' and files with part-XXX

感谢是否有人可以提供解决方案.

Answer 1

您需要使用以下代码将其保存在单个文件中: -

df2 = df1.select(df1.col1,df1.col2)
df2.coalesce(1).write.format('json').save('/path/file_name.json')

这将创建一个文件夹file_name.json.检查此文件夹,您可以获得包含整个数据的单个文件part-000

Answer 2

您可以通过之前转换为 pandas df 来实现：

df.toPandas().to_json('path/file_name.json', orient='records', force_ascii=False, lines=True)