小编Dav*_*ora的帖子

MySQL 的 Debezium 连接器。数据库历史记录主题丢失

我正在使用 Debezium 连接器版本 0.8 捕获 MySQL 数据库中的更改并将其移动到 Kafka。我将 Docker 与一个用于 MySQL 的容器、另一个用于连接器的容器以及另一个用于 Kafka 的容器一起使用。

当我停止 Docker ( docker-compose down) 并再次启动 Docker 时,通常会收到以下错误:

org.apache.kafka.connect.errors.ConnectException: The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_RECOVERY
Run Code Online (Sandbox Code Playgroud)

我已经在官方页面上阅读了此问题的解决方案:

https://debezium.io/blog/2018/03/16/note-on-database-history-topic-configuration/

但我按照这些步骤操作,我认为我的配置没问题:

log.retention.bytes = -1
log.retention.hours = 168       
log.retention.minutes = null
log.retention.ms = -1
Run Code Online (Sandbox Code Playgroud)

请注意,如果我设置log.retention.ms为-1,那么log.retention.minuteslog.retention.hours不会像官方文档解释的那样使用,然后我就解决了保留大小和保留时间问题。

那么,有人知道为什么我会收到此错误吗?

这是大学工作的一部分。docker-compose我想在我的大学发布之前我无法分享完整的文件,但我可以向您展示与这个问题相关的重要内容。我不认为这是一个配置问题,因为我的docker-compose.

mysql:
    image: mysql/5.7:configured (Little changes like enabling queries...)
environment:
     - …
Run Code Online (Sandbox Code Playgroud)

apache-kafka apache-kafka-connect debezium

5
推荐指数
1
解决办法
1万
查看次数