如何将kafka消息下载到文件中

Question

我在解析 kafka 中的 protobuf 消息时遇到问题。我知道导致错误的消息是“partition=9，offset=1060” 例如，有没有办法让我将此消息保存到文件中？使用 kafla cli 或类似的东西？

Answer 1

kafkacat按照 @k314159 的建议，您可以这样做：

kafkacat -b broker:9092 -t my_topic -p 9 -o 1060 -c1

它写入标准输出，以便您可以根据需要重定向到文件

kafkacat -b broker:9092 -t my_topic -p 9 -o 1060 -c1 > myfile.txt