Kafka制作人可以创建主题和分区吗？

Question

目前我正在评估不同的消息系统.有一个与Apache Kafka有关的问题,我无法回答.

Kafka制作人是否可以动态创建主题和分区(在现有主题上)？如果是的话,它有什么不利之处吗？

提前致谢

Answer 1

更新:

kafka代理有一个属性:auto.create.topics.enable

如果生成器使用新主题名称向主题发布消息,则将其设置为true,它将自动为您创建主题.

Confluent团队建议不要这样做,因为主题的爆炸,取决于您的环境可能变得难以处理,并且主题创建在创建时将始终具有相同的默认值.复制因子至少为3至关重要,以确保在磁盘发生故障时主题的持久性.

Answer 2

当您启动 kafka 代理时，您可以在文件中定义一堆属性conf/server.properties。其中一个属性是，auto.create.topics.enable如果您将其设置为 true（默认情况下），当您向不存在的主题发送消息时，kafka 将自动创建一个主题。分区号将由同一​​文件中的默认设置定义。

缺点：据我所知，以这种方式创建的主题将始终具有相同的默认设置（分区、副本...）。