我正在使用Spark结构化流处理来自流数据源的数据,并且正在使用文件接收器。数据将在处理后放入hdfs。
我有一个问题,输出文件是这样的part-00012-8d701427-8289-41d7-9b4d-04c5d882664d-c000.txt。这使我无法在上一个小时获取文件输出。
part-00012-8d701427-8289-41d7-9b4d-04c5d882664d-c000.txt
是否可以将输出文件自定义为timestamp_xxx或类似的内容?或者,我可以按批次输出到不同的路径吗?
hdfs apache-spark spark-structured-streaming
apache-spark ×1
hdfs ×1
spark-structured-streaming ×1