相关疑难解决方法(0)

Spark - 如何在没有文件夹的情况下编写单个csv文件?

假设这df是Spark中的数据帧.写入df单个CSV文件的方法是

df.coalesce(1).write.option("header", "true").csv("name.csv")

这会将数据帧写入包含在name.csv被调用文件夹中的CSV文件中,但实际的CSV文件将被调用part-00000-af091215-57c0-45c4-a521-cd7d9afb5e54.csv.

我想知道是否可以避免该文件夹name.csv并调用实际的CSV文件name.csv而不是part-00000-af091215-57c0-45c4-a521-cd7d9afb5e54.csv.原因是我需要编写几个CSV文件,稍后我将用Python一起阅读,但我的Python代码使用实际的CSV名称,还需要将所有单个CSV文件放在一个文件夹中(而不是文件夹)的文件夹).

任何帮助表示赞赏.

csv export-to-csv apache-spark

20
推荐指数
3
解决办法
8846
查看次数

标签 统计

apache-spark ×1

csv ×1

export-to-csv ×1