分布式Kafka Connect主题配置

Question

我遇到了在节点重启后我的 Kafka Connect 工作器配置丢失的问题。( http://broker:port/connectors/ -> 空数组)

现在我认为它可能与“retention.ms”配置有关。因为connect config也存放在“config.storage.topic”中，会在“retention.ms”后删除？所以我必须设置一个非常高的“retention.ms”。这是正确的还是由Kafka自动管理？（如果您自己创建主题）

另外两个主题如何：status.storage.topic - 仅当前状态信息，不那么重要？offset.storage.topic

Answer 1

是的，这可能是。

“config.storage.topic”、“status.storage.topic”和“offset.storage.topic”都应该配置为“cleanup.policy=compact”（默认为“delete”）。使用此策略，保留时间将不起作用 - 我们将始终保留每个连接器的最新配置。