有没有办法确定 Kafka 主题中消息的来源?

Ano*_*ias 3 apache-kafka

有大量数据被推送到我们的 Kafka 主题之一,有没有办法确定这些数据来自哪个生产者?

cri*_*007 5

如果没有 SASL 或Authorizer级别审计,除了通过 JMX 跟踪连接的可疑客户端 ID 之外,没有其他简单的方法。

我建议您强制执行标准的消息格式并将消息传播给生产者团队。例如,查看 Cloudevents 规范,其中包含一个 source 字段

https://github.com/cloudevents/spec/blob/master/kafka-protocol-binding.md

  • 您还可以设置可以记录操作的自定义授权者。即使没有任何安全措施,您也可以知道源 IP 地址 (3认同)