我启动了一个 kafka-connect 分布式工作集群,它使用该主题connect-offset进行偏移存储:
offset.storage.topic=connect-offset
Run Code Online (Sandbox Code Playgroud)
由于代理提供了默认策略“cleanup.policy=delete”,因此当使用“cleanup.policy=compact”创建主题时,我最终将获得该主题的“cleanup.policy=compact,delete”。这会导致 kafka-connect 工作进程抛出异常:
org.apache.kafka.common.config.ConfigException:通过“offset.storage.topic”属性提供的主题“slpe-connect-offset”需要具有“cleanup.policy=compact”以保证源连接器的一致性和持久性偏移量,但发现该主题当前有“cleanup.policy=compact,delete”。继续可能会导致最终丢失源连接器偏移,并在将来重新启动此 Connect 集群时出现问题。更改 Connect Worker 配置中的“offset.storage.topic”属性,以使用带有“cleanup.policy=compact”的主题。
问题:是否有任何 kafka-connect 工作配置允许吃此异常以保留工作进程?虽然这是一个风险,但delete只有达到保留或大小限制才会发生。
我尝试将ibm-eventstreams-dev v 0.1.1安装到IBM Cloud Private中,我收到一条错误消息:
内部服务错误:图表与Tiller v2.6.0不兼容