小编Alw*_*ing的帖子

如何将 PySpark 数据框保存为具有自定义文件名的 CSV?

这是我想保存为 csv 的 Spark DataFrame。

type(MyDataFrame)
--Output: <class 'pyspark.sql.dataframe.DataFrame'>
Run Code Online (Sandbox Code Playgroud)

要将其保存为 CSV,我有以下代码:

MyDataFrame.write.csv(csv_path, mode = 'overwrite', header = 'true')
Run Code Online (Sandbox Code Playgroud)

当我保存它时,文件名是这样的:

part-0000-766dfdf-78fg-aa44-as3434rdfgfg-c000.csv
Run Code Online (Sandbox Code Playgroud)

有没有办法在保存时为其指定自定义名称?就像“MyDataFrame.csv”

python hadoop dataframe apache-spark pyspark

3
推荐指数
1
解决办法
1万
查看次数

标签 统计

apache-spark ×1

dataframe ×1

hadoop ×1

pyspark ×1

python ×1