如何在Nifi中查看Kafka的消费消息？

Question

我已经启动了一个 Nifi 进程（消费 Kafka）并将其连接到一个主题。它正在运行，但我无法（不知道）在哪里可以查看消息？

Answer 1

ConsumeKafka 处理器运行并为每条消息生成流文件。只有当您将处理器连接到其他组件（如另一个处理器或输出端口）时，您才能可视化正在传输的数据。

首先你可以试试这个：

• 连接ConsumeKafka带LogAttribute或任何其他处理器。
• 停止或禁用 LogAttribute处理器。
• 现在，当您启动时ConsumeKafka，所有从配置的 Kafka 主题接收到的消息都将以流文件的形式排队。
• 右键单击流文件排队的关系，然后单击List Queue，您可以访问队列。
• 单击队列上的任何项目，将出现一个上下文菜单。点击View按钮，您可以看到数据。

“查看”Kafka 消息的整个解释只是为了帮助您进行调试并开始使用 NiFi。理想情况下，您将使用其他 NiFi 处理器来计算您的用例。

例子

您从 Kafka 接收消息并希望将其写入 MongoDB，因此您可以将流程设为： 注意：有类似ConsumeKafkaRecord和基于记录的处理器，PutMongoRecord但它们基本上是在做同样的事情，但有更多的增强。由于您对此不熟悉，因此我建议了一个简单的流程。您可以在此处找到有关Record基于处理器的详细信息并尝试一下。