RabbitMQ 和 NiFi

Question

我是 NiFi 新手，欢迎建议。

我们在许多小记录中获取从外部源发送来的数据。我正在考虑通过 RabbitMQ 将这些记录拉入 NiFi。我想将这些记录“假脱机”或“批处理”成更大的分组（可能基于记录中的某些索引），并且当一组记录达到特定大小阈值时写入到 S3。

如何在 NiFi 中最好地实现这一点？还有其他建议吗？

谢谢，加里

Answer 1

RabbitMQ 基于AMQP。Nifi 支持 AMQP 处理器，称为ConsumeAMQP。您可以在链接中找到更多详细信息，其中包含特定于 RabbitMQ 的文档。根据文档配置处理器，然后就可以开始了。

对于第二部分，您需要使用 PutS3Object 处理器，在那里您将能够定义阈值。