如果第一经纪人破产，卡夫卡消费者将无法消费

Question

我正在使用最新版本的kafka（kafka_2.12-1.0.0.tgz）。我设置了具有3个代理的简单集群（只是在每个实例的属性文件中更改了broker.id = 1和listeners = PLAINTEXT：//：9092）。集群建立后，我使用以下命令创建了主题

./kafka-topics.sh --create    --zookeeper localhost:2181  --replication-factor 3     --partitions 13    --topic demo

然后使用以下命令启动kafka消费者和生产者

./kafka-console-producer.sh --topic  demo  --broker-list localhost:9094,localhost:9093,localhost:9092

./kafka-console-consumer.sh --group test --bootstrap-server localhost:9094,localhost:9093,localhost:9092  --topic demo

当所有经纪人都起来时，一切都很好。但是，如果我先杀死（按启动顺序），则将代理消息发送给代理，但使用者无法接收任何消息。消息不会丢失。启动后，该代理使用者将立即收到消息。

关闭代理实例后的使用者日志：

[2018-01-09 13：39：31,130]警告[Consumer clientId = consumer-1，groupId = test]无法建立到节点2147483646的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）[2018-01-09 13：39：31,132]警告[Consumer clientId = consumer-1，groupId = test]无法建立到节点1的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）[2018-01-09 13：39：31,344]警告[Consumer clientId = consumer-1，groupId = test]无法建立到节点2147483646的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）[2018-01-09 13：39：31,451]警告[Consumer clientId = consumer-1，groupId = test]无法建立到节点1的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）[2018-01-09 13:39:31，[848] WARN [Consumer clientId = consumer-1，groupId = test]无法建立到节点2147483646的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）[2018-01-09 13：39：31,950]警告[Consumer clientId = consumer-1，groupId = test]无法建立到节点1的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）[2018-01-09 13：39：32,363]警告[Consumer clientId = consumer-1，groupId = test]无法建立到节点2147483646的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）[2018-01-09 13：39：33,092]警告[Consumer clientId = consumer-1，groupId = test]无法建立到节点2147483646的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）[2018-01-09 13:39:34，216]警告[消费者clientId = consumer-1，groupId = test]无法建立到节点2147483646的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）[2018-01-09 13：39：34,218]警告[Consumer clientId = consumer-1，groupId = test]异步自动提交偏移量{demo-0 = OffsetAndMetadata {offset = 3，元数据=''}，演示1 = OffsetAndMetadata {offset = 3，元数据=“''}，演示2 = OffsetAndMetadata {offset = 2，元数据=”''}，演示3 = OffsetAndMetadata {offset = 2 ，元数据=''}，demo-4 = OffsetAndMetadata {offset = 1，元数据=''}，demo-5 = OffsetAndMetadata {offset = 1，元数据=''}，demo-6 = OffsetAndMetadata {offset = 3，元数据=''}，demo-7 = OffsetAndMetadata {offset = 2，元数据=''}，demo-8 = OffsetAndMetadata {offset = 3，元数据=''}，demo-9 = OffsetAndMetadata {offset = 2，元数据=''}，demo-10 = OffsetAndMetadata {offset = 3，元数据=''}，demo-11 = OffsetAndMetadata {offset = 2，元数据=“''}，演示- 12 = OffsetAndMetadata {offset = 2，metadata =''}}}失败：偏移提交失败，并发生可重试的异常。您应该重试提交偏移量。潜在的错误是：协调器不可用。（org.apache.kafka.clients.consumer.internals.ConsumerCoordinator）[2018-01-09 13：39：34,219] WARN [Consumer clientId = consumer-1，groupId = test]无法建立到节点1的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）metadata =''}}失败：偏移提交失败，并发生可重试的异常。您应该重试提交偏移量。潜在的错误是：协调器不可用。（org.apache.kafka.clients.consumer.internals.ConsumerCoordinator）[2018-01-09 13：39：34,219] WARN [Consumer clientId = consumer-1，groupId = test]无法建立到节点1的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）metadata =''}}失败：偏移提交失败，并发生可重试的异常。您应该重试提交偏移量。潜在的错误是：协调器不可用。（org.apache.kafka.clients.consumer.internals.ConsumerCoordinator）[2018-01-09 13：39：34,219] WARN [Consumer clientId = consumer-1，groupId = test]无法建立到节点1的连接。经纪人可能不可用。（org.apache.kafka.clients.NetworkClient）

再次启动缺少经纪人后的消费者日志：

[2018-01-09 13：41：21,739]错误[Consumer clientId = consumer-1，groupId = test]在分区demo-0的偏移量3处，偏移量提交失败：这不是正确的协调器。（org.apache.kafka.clients.consumer.internals.ConsumerCoordinator）[2018-01-09 13：41：21,739] WARN [Consumer clientId = consumer-1，groupId = test]异步自动提交偏移量{demo-0 = OffsetAndMetadata {offset = 3，元数据=''}，演示1 = OffsetAndMetadata {offset = 3，元数据=“''}，demo-2 = OffsetAndMetadata {offset = 2，元数据=”''}，demo-3 = OffsetAndMetadata {offset = 2，metadata =“''，demo-4 = OffsetAndMetadata {offset = 1，元数据=”''}，demo-5 = OffsetAndMetadata {offset = 1，元数据=“''}，demo-6 = OffsetAndMetadata {offset = 3，元数据=''}，演示7 = OffsetAndMetadata {offset = 2，元数据=''}，demo-8 = OffsetAndMetadata {offset = 3，元数据=“''，demo-9 = OffsetAndMetadata {offset = 2，元数据=''}，demo-10 = OffsetAndMetadata {offset = 3，元数据=”''}，演示- 11 = OffsetAndMetadata {offset = 2，元数据=''}，demo-12 = OffsetAndMetadata {offset = 2，元数据=“''}}失败：偏移提交失败，并发生可重试的异常。您应该重试提交偏移量。潜在的错误是：这不是正确的协调器。（org.apache.kafka.clients.consumer.internals.ConsumerCoordinator）[2018-01-09 13：41：22,353]错误[消费者clientId = consumer-1，groupId = test]偏移量在分区demo-0上的偏移量提交失败3：这不是正确的协调者。（org.apache.kafka.clients.consumer.internals.ConsumerCoordinator）[2018-01-09 13：41：22,354]警告[Consumer clientId = consumer-1，偏移提交失败，并发生可重试的异常。您应该重试提交偏移量。潜在的错误是：这不是正确的协调器。（org.apache.kafka.clients.consumer.internals.ConsumerCoordinator）

谢谢

Answer 1

尝试检查 server-*.properties 文件中的“offsets.topic.replication.factor”

例如：

############################# Internal Topic Settings       
# The replication factor for the group metadata internal topics    
# For anything other than development testing, a value greater than 1 is  recommended for to ensure availability such as 3.
offsets.topic.replication.factor=3

http://kafka.apache.org/documentation/#brokerconfigs