在 Spark Streaming 中更改输出文件名

Question

我正在运行一个 Spark 作业，就逻辑而言，它的性能非常好。但是，当我使用 saveAsTextFile 将文件保存在 s3 存储桶中时，我的输出文件的名称采用 part-00000、part-00001 等格式。有没有办法更改输出文件名？

谢谢你。

Answer 1

在 Spark 中，您可以使用saveAsNewAPIHadoopFile并在 hadoop 配置中设置mapreduce.output.basename参数来更改前缀（只是“部分”前缀）

val hadoopConf = new Configuration()
hadoopConf.set("mapreduce.output.basename", "yourPrefix")

yourRDD.map(str => (null, str))
        .saveAsNewAPIHadoopFile(s"$outputPath/$dirName", classOf[NullWritable], classOf[String],
          classOf[TextOutputFormat[NullWritable, String]], hadoopConf)

您的文件将命名为：yourPrefix-r-00001

在 hadoop 和 Spark 中，您可以在输出中有多个文件，因为您可以有多个 reducer（hadoop）或多个分区（spark）。然后您需要保证每个文件的名称都是唯一的，这就是为什么不能覆盖文件名最后一部分的序列号的原因。

但是，如果您想更好地控制文件名，可以扩展TextOutputFormat或FileOutputFormat并覆盖getUniqueFile方法。