相关疑难解决方法(0)

使用spark-csv编写单个CSV文件

我正在使用https://github.com/databricks/spark-csv,我正在尝试编写单个CSV,但不能,它正在创建一个文件夹.

需要一个Scala函数,它将获取路径和文件名等参数并写入该CSV文件.

csv scala apache-spark spark-csv

92
推荐指数
8
解决办法
17万
查看次数

使用pyspark覆盖火花输出

我试图在PySpark中使用以下选项覆盖Spark数据帧,但我没有成功

spark_df.write.format('com.databricks.spark.csv').option("header", "true",mode='overwrite').save(self.output_file_path)
Run Code Online (Sandbox Code Playgroud)

mode = overwrite命令不成功

python apache-spark pyspark

21
推荐指数
2
解决办法
4万
查看次数

标签 统计

apache-spark ×2

csv ×1

pyspark ×1

python ×1

scala ×1

spark-csv ×1