相关疑难解决方法(0)

删除zookeeper中的kafka使用者组

我正在使用kafka_2.9.2-0.8.1.1和zookeeper 3.4.6.

是否有可以从zookeeper中自动删除使用者组的实用程序?或者我可以删除zookeeper中/ consumers/[group_id]下的所有内容吗?如果是后者,还有什么我错过了吗?这可以用现场系统完成吗?

apache-kafka apache-zookeeper

18
推荐指数
4
解决办法
4万
查看次数

消费者陷入重新加入

我已经阅读了其他主题,并且通过使用新的组ID解决了这个问题,但是我想了解是什么原因引起的。

我有一个包含16个分区的主题,我已将session.timeout.ms = 30000设置为max.poll.interval.ms = 30000000。

我运行了我的程序,然后按Ctrl + C组合键,因此无法正常关闭。在我猜了16次之后,我陷入了这个重新加入的问题。session.timeout.ms是心跳超时,因此30秒后它应该使我的用户正常运行,而我的分区应该“释放”对吗?还是只听我的max.poll.interval.ms?

编辑:我仍然间歇性地收到此错误,并且发生这种情况时,我必须重新启动所有使用者。即使我的消费者运行良好,然后他们开始陷入重新加入的困境(没有添加/移除消费者),也会发生这种情况。这是一个错误日志,来自当我尝试将新使用者卡在该状态时与它连接之后:

https://pastebin.com/AXJeSHkp

2017-06-29 17:28:16,215 DEBUG [AbstractCoordinator] - [scheduler-1] - Sending JoinGroup ((type: JoinGroupRequest, groupId=ingestion-matching-kafka-consumer-group-dev1, sessionTimeout=30000, rebalanceTimeout=43200000, memberId=, protocolType=consumer, groupProtocols=org.apache.kafka.common.requests.JoinGroupRequest$ProtocolMetadata@b45e5583)) to coordinator kafka04-prod01.messagehub.services.us-south.bluemix.net:9093 (id: 2147483644 rack: null)

2017-06-29 17:37:21,261 DEBUG [NetworkClient] - [scheduler-1] - Node 2147483644 disconnected.
2017-06-29 17:37:21,263 DEBUG [ConsumerNetworkClient] - [scheduler-1] - Cancelled JOIN_GROUP request {api_key=11,api_version=1,correlation_id=19,client_id=ingestion-matching-kafka-consumer-dev1} with correlation id 19 due to node 2147483644 being disconnected
Run Code Online (Sandbox Code Playgroud)

这些是我认为相关的第一个和最后一个消息。这是我设置的相关超时:

session.timeout.ms=30000
max.poll.interval.ms=43200000    
request.timeout.ms=43205000 # the docs said to keep this higher than max.poll.interval.ms …
Run Code Online (Sandbox Code Playgroud)

apache-kafka kafka-consumer-api message-hub

6
推荐指数
2
解决办法
3423
查看次数