Kafka 生产者在发送到通过 AdminClient createTopics 方法创建的主题时抛出“收到未知主题或分区错误”

Question

我对使用AdminClient createTopics. 在我的应用程序中，我有以下顺序：

1. 使用 1 个分区创建新主题，复制因子设置为 1 AdminClient.createTopics
2. 等待AdminClient.createTopics KafkaFuture结果
3. 立即向新创建的主题发送新消息（通常操作 2 和操作 3 之间的时间约为 200 毫秒）。

我的代码如下：

adminClient
  .createTopics(Collections.singleton(new NewTopic(targetTopic, 1, (short) 1)))
  .values()
  .get(targetTopic)
  .get();
producer.send(new ProducerRecord<>(targetTopic, data));

有时生产者看不到创建的主题并抛出以下异常：

[Producer clientId=producer-1] 获取关联 ID 为 5 的元数据时出错：{targetTopic=UNKNOWN_TOPIC_OR_PARTITION}

[Producer clientId=producer-1] 在分区 targetTopic 上的生产请求中收到未知主题或分区错误。主题/分区可能不存在或用户可能没有描述访问权限

这个问题非常罕见（< 0.1% 所有创建的主题）。

是否保证在AdminClient.createTopicsKafka 未来完成时创建主题并且 Kafka 生产者应该看到该主题？如果不是那么哪种主题创建方法可以给我这样的保证？

我在 Azure 上使用 kafka-clients:2.0.0 和 Kafka HD 服务。我的集群由 3 个 Zookeeper 和 3 个 Kafka 节点组成。

Answer 1

Kafka 客户端无法保证原子主题创建。您可以从此文档中阅读它。当您创建主题时，kafka 将通知分布式系统有关主题信息，以便该操作在不同的计算机上运行，​​并且如果没有分布式事务管理，这些操作就不能是原子的。