Kafka Connect可以共享配置和偏移量主题吗

Question

是否可以在两个或多个单独的Kafka Connect群集之间安全地共享两个Apacke Kafka Connect元数据主题config.storage.topic和offset.storage.topic？

虽然文档指出了每个：

对于具有相同身份的所有工人，这必须是相同的group.id。

从文档中尚不清楚这些主题是否实质上必须由单个Kafka Connect集群拥有。

从广义上讲，我可以看到我的connect group.id 可以用作该主题中各项的前缀，但尚不清楚是否是它，也不清楚是否可以安全地将Connect群集从彼此的元数据中分离出来。

Answer 1

每个集群都需要自己专用的主题。

如果您有多个Kafka Connect群集尝试使用相同的config / offset / status主题（即使使用不同的group.id设置），则Kafka Connect会出现大量错误和/或意外行为。