我使用的是 kafka 1.1.0,单个消费者,尽管我的轮询速度非常快,每 100 毫秒进行一次轮询,但我收到此错误。我使用手动提交,两个提交请求之间的持续时间可能会改变(甚至可能是几个小时)。但不是民意调查。
我仍然收到此错误“协调员不知道该成员。” 有消息
org.apache.kafka.clients.consumer.CommitFailedException:提交无法完成,因为组已经重新平衡并将分区分配给另一个成员。这意味着后续调用 poll() 之间的时间比配置的 max.poll.interval.ms 长,这通常意味着 poll 循环花费了太多时间处理消息。您可以通过增加会话超时或使用 max.poll.records 减少 poll() 中返回的批次的最大大小来解决此问题。
导致此错误的原因可能是什么。我已经到处搜索,但在我的问题背景下找不到任何信息。
“max.poll.interval.ms”和会话超时都是默认值。
从日志中我可以看到上次成功提交是在“11:20:11.677”,失败提交是在“11:20:35.742”,仅相隔 24 秒。
它的应用程序进程有自己的组ID。我可以确认没有其他进程以相同的组 ID 运行。
这是来自调试日志:
2018-11-17 17:03:39.227 - 调试 OakcciAbstractCoordinator 尝试检测信号失败,因为成员 ID Consumer-1-e237c8ed-fed7-4687-be4d-99e333e48af3 无效。
2018-11-17 17:03:39.227 - 调试 OakcciAbstractCoordinator 禁用心跳线程 2018-11-17 17:08:09.241 - 调试 o.apache.kafka.clients.NetworkClient 发送元数据请求(type=MetadataRequest,topics=)到节点10.0.10.220:9092(id:1机架:空)
2018-11-17 17:08:09.241 - 调试 org.apache.kafka.clients.Metadata - 将集群元数据版本 505 更新为 Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,节点 = [10.0.10.222:9092 (id: 3 机架: null), 10.0.10.220:9092 (id: 1 机架: null), 10.0.10.221:9092 (id: 2 机架: null)], 分区 = [])
2018-11-17 …
我无法在我的 sbt 中添加融合的 repo。我查看了pom 示例 并找到了在 maven 中添加 repo 的定义。
<repositories>
<repository>
<id>confluent</id>
<url>https://packages.confluent.io/maven/</url>
</repository>
<!-- further repository entries here -->
</repositories>
Run Code Online (Sandbox Code Playgroud)
和依赖
<dependencies>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.11</artifactId>
<version>2.0.0-cp1</version>
</dependency>
<!-- further dependency entries here -->
</dependencies>
Run Code Online (Sandbox Code Playgroud)
我用了
resolvers += Resolver.url("confluent", url("http://packages.confluent.io/maven/")) in build.sbt`
Run Code Online (Sandbox Code Playgroud)
并将依赖项声明为
libraryDependencies += "org.apache.kafka" % "kafka-clients" % "2.0.0-cp1"
libraryDependencies += "org.apache.kafka" %% "kafka" % "2.0.0-cp1"
Run Code Online (Sandbox Code Playgroud)
我仍然得到
::::::::::::::::::::::::::::::::::::::::::::::
[warn] :: UNRESOLVED DEPENDENCIES ::
[warn] ::::::::::::::::::::::::::::::::::::::::::::::
[warn] :: org.apache.kafka#kafka-clients;2.0.0-cp1: not found
[warn] :: org.apache.kafka#kafka_2.12;2.0.0-cp1: not found
[warn] :::::::::::::::::::::::::::::::::::::::::::::: …
Run Code Online (Sandbox Code Playgroud)