如何在nifi中简单地组合流文件？

Question

假设我有一个处理器生成的 100 个流文件，每个文件都包含不同的行。我想要一个包含 100 行的新流文件。我怎样才能做到这一点？

我尝试过 MergeContent 处理器，但它给了我原始 100 个流文件。

当前配置：

更新：

MergeContent我调试了第一步的输出JOIN，看起来没问题，因为数据576.34 KB包含 100 行。但第二步ATTRIBUTES_MODIFIED似乎只输出1行到最终结果。

更新：

这就是我的整个过程。

1. 从kafka一一获取。
2. 将 kafka 消息转换为一个流文件中的一行字符串。
3. 将多个流文件合并为一个。
4. 把HDFS。

现在我陷入了第3步，无法将它们一一合并。我不在乎顺序或属性，我只需要限制数量。

更新：

我尝试设置 correlation attribute为${kafka.topic}，因为来自同一 kafka 主题的所有流文件，但它们仍然无法合并：

Answer 1

您使用的是处理器的原始关系还是合并关系MergeContent？前者将向您提供相同的 100 个流程文件，以防您需要进行额外的处理；后者将为您提供一个包含所有合并流文件内容的单个流文件。从您的出处列表来看，合并事件正在成功发生，因此请仔细检查您正在使用的关系。如果可以的话，请发布您的流程的屏幕截图。