在Flink中,如何将DataStream写入单个文件？

Question

该writeAsText或writeAsCsv一个方法DataStream写尽可能多的文件作为工作线程.据我所知,这些方法只允许您指定这些文件的路径和一些格式.

出于调试和测试目的,能够将所有内容打印到单个文件非常有用,而无需将设置更改为具有单个工作线程.

是否有任何非过于复杂的方法来实现这一目标？我怀疑应该可以实现一个自定义SinkFunction,但不确定那个(此外,它也感觉像一个似乎相对简单的事情的麻烦).

Answer 1

您可以通过将并行度设置为1来实现此目的.这样,写入仅在一台计算机上进行.

writeAsText(path).setParallelism(1);