消费者没有收到消息,kafka控制台,新的消费者api,Kafka 0.9

Question

我正在为Kafka 0.9.0.0 做Kafka Quickstart.

我有动物园管理员在听,localhost:2181因为我跑了

bin/zookeeper-server-start.sh config/zookeeper.properties

我有一个经纪人在听,localhost:9092因为我跑了

bin/kafka-server-start.sh config/server.properties

我有一个制作人发布主题"测试",因为我跑了

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
yello
is this thing on?
let's try another
gimme more

当我运行旧的API使用者时,它可以通过运行来运行

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

但是,当我运行新的API使用者时,我运行时没有得到任何东西

bin/kafka-console-consumer.sh --new-consumer --topic test --from-beginning \
    --bootstrap-server localhost:9092

是否可以使用新的api从控制台消费者订阅主题？我该如何解决？

Answer 1

我的MAC框我遇到了同样的问题,控制台消费者在使用命令时没有消费任何消息

kafka-console-consumer --bootstrap-server localhost:9095 --from-beginning --topic my-replicated-topic

但是当我尝试时

kafka-console-consumer --bootstrap-server localhost:9095 --from-beginning --topic my-replicated-topic --partition 0

它愉快地列出了发送的消息.这是Kafka 1.10.11中的错误吗？

Answer 2

我只是遇到了这个问题，解决方案是/brokers在zookeeper中删除并重新启动kafka节点。

bin/zookeeper-shell <zk-host>:2181

然后

rmr /brokers

不知道为什么能解决这个问题。

启用调试日志记录后，在使用者中一遍又一遍地看到以下错误消息：

2017-07-07 01:20:12 DEBUG AbstractCoordinator:548 - Sending GroupCoordinator request for group test to broker xx.xx.xx.xx:9092 (id: 1007 rack: null) 2017-07-07 01:20:12 DEBUG AbstractCoordinator:559 - Received GroupCoordinator response ClientResponse(receivedTimeMs=1499390412231, latencyMs=84, disconnected=false, requestHeader={api_key=10,api_version=0,correlation_id=13,client_id=consumer-1}, responseBody={error_code=15,coordinator={node_id=-1,host=,port=-1}}) for group test 2017-07-07 01:20:12 DEBUG AbstractCoordinator:581 - Group coordinator lookup for group test failed: The group coordinator is not available. 2017-07-07 01:20:12 DEBUG AbstractCoordinator:215 - Coordinator discovery failed for group test, refreshing metadata

Answer 3

对我来说，此线程中描述的解决方案有效-https: //stackoverflow.com/a/51540528/7568227

检查是否

offsets.topic.replication.factor

（或可能与复制相关的其他配置参数）不超过代理的数量。就我而言，这就是问题所在。

此修复程序之后，无需再使用--partition 0。

否则，我建议遵循上述线程中描述的调试过程。

Answer 4

在我的 Mac 上遇到了同样的问题。我检查了日志，发现以下错误。

Number of alive brokers '1' does not meet the required replication factor '3' for the offsets topic (configured via 'offsets.topic.replication.factor'). 
This error can be ignored if the cluster is starting up and not all brokers are up yet.

这可以通过将复制因子更改为 1 来解决。在 server.properties 中添加以下行并重新启动 Kafka/Zookeeper。

offsets.topic.replication.factor=1

Answer 5

就我而言，这不起作用

kafka-console-consumer --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

这有效

kafka-console-consumer --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic --partition 0

因为该主题__consumer_offsets位于无法访问的代理上。基本上，我忘了复制它。搬家__consumer_offsets解决了我的问题。

Answer 6

你能尝试这样吗：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic