如何将kafka主题迁移到日志压缩?

fvo*_*erg 5 apache-kafka

我们有一个 Kafka 主题,其中cleanup.policy当前是delete。关于该主题生成的消息没有密钥。我能够更改此主题的配置,并且它不会接受任何没有密钥的新消息,这是合理且理想的。

不过,我想知道卡夫卡将如何处理这些旧的无密钥消息。他们会像拥有一把钥匙一样受到对待,还是不会受到新清理政策的影响?

是否有迁移的最佳实践,我无法找到相关内容。这是一个不寻常的用例吗?

提前致谢

fvo*_*erg 2

我在我的 Kafka 集群中做了一些测试,并回答了未来的问题:

  • 没有密钥的消息将被删除
  • 如果您不添加新消息,则最终可能会在分区中保留一些旧消息,因为它们位于“最后一个段”。当您添加新消息时,它们将被删除

我想我将引入一个新的压缩主题并将我的数据重新发布到新主题。这会导致所有消费者消费一个新主题,但对我来说这是可以的。

祝我未来好运