Tom*_*Tom 5 avro apache-spark spark-avro
嗨,有一个主题是使用MultipleTextOutputFormat在一个spark作业中将文本数据写入多个输出目录
我会问是否有类似的方法将avro数据写入多个目录
我想要的是将avro文件中的数据写入不同的目录(基于时间戳字段,时间戳中的同一天转到同一目录)
AvroMultipleOutputs类简化了将 Avro 输出数据写入多个输出的过程。
情况一：写入作业默认输出之外的其他输出。每个附加输出或命名输出都可以配置有自己的架构和输出格式。
情况二：将数据写入用户提供的不同文件中
AvroMultipleOutputs支持计数器，默认情况下它们是禁用的。计数器组是AvroMultipleOutputs类名。计数器的名称与输出名称相同。这些对写入每个输出名称的记录数进行计数。
还可以看看
| 归档时间： |
|
| 查看次数： |
509 次 |
| 最近记录： |