Spark:如何使用标题保存数据框？

Question

dataframe.saveasTextFile,仅以分隔格式保存数据.如何在JAVA中使用标题保存数据框.

sourceRufFrame.toJavaRDD().map(new TildaDelimiter()).coalesce(1, true).saveAsTextFile(targetSrcFilePath);

Answer 1

如果你想保存为csv文件,我建议使用spark-csv包.您可以spark-csv使用标题简单地保存数据框.

dataFrame.write
  .format("com.databricks.spark.csv")
  .option("header", "true")
  .option("delimiter",<your delimiter>)
  .save(output)

您可以参考以下链接,了解更多信息:https: //github.com/databricks/spark-csv

Spark-csv 有maven依赖.

Answer 2

使用Spark 2.x,

df.write.option("header", "true").csv("path")

干杯