小编man*_*anu的帖子

kafka CommitFailedException:协调者不知道该成员。尽管对每 100 毫秒和单个消费者进行民意调查

我使用的是 kafka 1.1.0,单个消费者,尽管我的轮询速度非常快,每 100 毫秒进行一次轮询,但我收到此错误。我使用手动提交,两个提交请求之间的持续时间可能会改变(甚至可能是几个小时)。但不是民意调查。

我仍然收到此错误“协调员不知道该成员。” 有消息

org.apache.kafka.clients.consumer.CommitFailedException:提交无法完成,因为组已经重新平衡并将分区分配给另一个成员。这意味着后续调用 poll() 之间的时间比配置的 max.poll.interval.ms 长,这通常意味着 poll 循环花费了太多时间处理消息。您可以通过增加会话超时或使用 max.poll.records 减少 poll() 中返回的批次的最大大小来解决此问题。

导致此错误的原因可能是什么。我已经到处搜索,但在我的问题背景下找不到任何信息。

“max.poll.interval.ms”和会话超时都是默认值。

从日志中我可以看到上次成功提交是在“11:20:11.677”,失败提交是在“11:20:35.742”,仅相隔 24 秒。

它的应用程序进程有自己的组ID。我可以确认没有其他进程以相同的组 ID 运行。

这是来自调试日志:

2018-11-17 17:03:39.227 - 调试 OakcciAbstractCoordinator 尝试检测信号失败,因为成员 ID Consumer-1-e237c8ed-fed7-4687-be4d-99e333e48af3 无效。

2018-11-17 17:03:39.227 - 调试 OakcciAbstractCoordinator 禁用心跳线程 2018-11-17 17:08:09.241 - 调试 o.apache.kafka.clients.NetworkClient 发送元数据请求(type=MetadataRequest,topics=)到节点10.0.10.220:9092(id:1机架:空)

2018-11-17 17:08:09.241 - 调试 org.apache.kafka.clients.Metadata - 将集群元数据版本 505 更新为 Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,节点 = [10.0.10.222:9092 (id: 3 机架: null), 10.0.10.220:9092 (id: 1 机架: null), 10.0.10.221:9092 (id: 2 机架: null)], 分区 = [])

2018-11-17 …

apache-kafka

5
推荐指数
0
解决办法
1万
查看次数

用于融合平台的 sbt 解析器

我无法在我的 sbt 中添加融合的 repo。我查看了pom 示例 并找到了在 maven 中添加 repo 的定义。

<repositories>
  <repository>
    <id>confluent</id>
    <url>https://packages.confluent.io/maven/</url>
  </repository>

  <!-- further repository entries here -->

</repositories>
Run Code Online (Sandbox Code Playgroud)

和依赖

<dependencies>

  <dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka_2.11</artifactId>
    <version>2.0.0-cp1</version>
  </dependency>

  <!-- further dependency entries here -->

</dependencies>
Run Code Online (Sandbox Code Playgroud)

我用了

resolvers += Resolver.url("confluent", url("http://packages.confluent.io/maven/")) in build.sbt`
Run Code Online (Sandbox Code Playgroud)

并将依赖项声明为

libraryDependencies += "org.apache.kafka" % "kafka-clients" % "2.0.0-cp1"
libraryDependencies += "org.apache.kafka" %% "kafka" % "2.0.0-cp1"
Run Code Online (Sandbox Code Playgroud)

我仍然得到

::::::::::::::::::::::::::::::::::::::::::::::
[warn]  ::          UNRESOLVED DEPENDENCIES         ::
[warn]  ::::::::::::::::::::::::::::::::::::::::::::::
[warn]  :: org.apache.kafka#kafka-clients;2.0.0-cp1: not found
[warn]  :: org.apache.kafka#kafka_2.12;2.0.0-cp1: not found
[warn]  :::::::::::::::::::::::::::::::::::::::::::::: …
Run Code Online (Sandbox Code Playgroud)

scala sbt apache-kafka confluent-platform

2
推荐指数
1
解决办法
1229
查看次数

标签 统计

apache-kafka ×2

confluent-platform ×1

sbt ×1

scala ×1