Apache Nifi - 使用 Kafka + 合并内容 + 放置 HDFS 以避免小文件

Question

我在 Kafka 主题中有大约 2000000 条消息，我想使用 NiFi 将这些记录放入 HDFS，所以我PutHDFS为此使用处理器，但ConsumeKafka_0_10它在 HDFS 中生成小文件，所以我使用合并内容处理器来合并记录在推送文件之前。 如果配置需要更改，请提供帮助 这对于少量消息来说效果很好，但当涉及到具有大量数据的主题时，会为每条记录写入一个文件。

谢谢你！！

Answer 1

最小条目数设置为 1，这意味着它可以具有从 1 到最大条目数的任意值。尝试将其设置为更高的值，例如 100k。