小编sky*_* CC的帖子

如何定义Spark结构化的流式文件接收器文件路径或文件名?

我正在使用Spark结构化流处理来自流数据源的数据,并且正在使用文件接收器。数据将在处理后放入hdfs。

我有一个问题,输出文件是这样的part-00012-8d701427-8289-41d7-9b4d-04c5d882664d-c000.txt。这使我无法在上一个小时获取文件输出。

是否可以将输出文件自定义为timestamp_xxx或类似的内容?或者,我可以按批次输出到不同的路径吗?

hdfs apache-spark spark-structured-streaming

2
推荐指数
1
解决办法
1947
查看次数