Kafka Mirror Maker 无法复制 __consumer_offset 主题

Question

我正在尝试使用镜像制造商来复制__consumer_offsets主题以及其他主题。

它给出了如下所述的错误。

[2018-10-24 16:16:03,802] 将消息发送到主题 __consumer_offsets 时出错，key: 16 bytes, value: 445 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org. apache.kafka.common.errors.InvalidTopicException：请求尝试对无效主题执行操作。[2018-10-24 16:16:03,828] 将消息发送到主题 __consumer_offsets 时出错，key: 29 bytes, value: 754 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org. apache.kafka.common.errors.InvalidTopicException：请求尝试对无效主题执行操作。

有没有办法解决这个问题？

在幻灯片 21 上的SlideShare 中的一个融合演示中，它提到了在多个数据中心复制偏移主题。有人可以告诉我实现相同目标的可能方法吗？

或者还有其他更好的方法来为 Kafka 备份和恢复策略。

Answer 1

在您的consumer.config 中添加：

exclude.internal.topics=false

并将其添加到您的producer.config 中：

client.id=__admin_client

原因是，除非您声明client.id=__admin_clientAdminClient.scala 使用哪个，否则生产者无法写入内部主题。在这里找到：https : //issues.apache.org/jira/browse/KAFKA-6524