相关疑难解决方法(0)

为什么在 Kafka 中使用 FETCH_SESSION_ID_NOT_FOUND?

我有很多很多FETCH_SESSION_ID_NOT_FOUND

INFO [ReplicaFetcher replicaId=2, leaderId=1, fetcherId=2] Node 1 was unable to process the fetch request with (sessionId=1229568311, epoch=511): FETCH_SESSION_ID_NOT_FOUND. (org.apache.kafka.clients.FetchSessionHandler)
INFO [ReplicaFetcher replicaId=2, leaderId=1, fetcherId=5] Node 1 was unable to process the fetch request with (sessionId=136816338, epoch=504): FETCH_SESSION_ID_NOT_FOUND. (org.apache.kafka.clients.FetchSessionHandler)
INFO [ReplicaFetcher replicaId=2, leaderId=0, fetcherId=2] Node 0 was unable to process the fetch request with (sessionId=311282207, epoch=569): FETCH_SESSION_ID_NOT_FOUND. (org.apache.kafka.clients.FetchSessionHandler)
...
Run Code Online (Sandbox Code Playgroud)

我阅读了Kafka:连续获取 FETCH_SESSION_ID_NOT_FOUND如何检查 Kafka 集群中使用的增量获取会话缓存槽的实际数量?

目前,我们刚刚从Burrow获得了有关滞后的指标。

我的问题:

1、谁能解释一下为什么我有这么多FETCH_SESSION_ID_NOT_FOUND?这是什么意思?我之前没有得到它们。

有些消费者发送了太多请求?还是领导人总是连任?

我不知道。有人可以给我更多细节吗?

2、如果是因为某些消费者发送的请求过多,如何识别这些消费者?

谢谢

apache-kafka

5
推荐指数
0
解决办法
7318
查看次数

如何检查Kafka集群中使用的增量获取会话缓存槽的实际数量?

我正在阅读这个问题Kafka:Continuously getting FETCH_SESSION_ID_NOT_FOUND,我正在尝试应用 Hrishikesh Mishra 建议的解决方案,因为我们也面临类似的问题,所以我增加了代理设置 max.incremental.fetch.session.cache.slots 到2000,默认为 1000。但现在我想知道如何监控已使用的增量获取会话缓存槽的实际数量,在 prometheus 中我看到 kafka_server_fetchsessioncache_numincrementalfetchpartitionscached 指标,并且 promql 查询在三个代理中的每一个上显示的数量现在明显超过 2000,那是 2703、2655 和 2054,所以如果我查看正确的指标,我会感到困惑。还有 kafka_server_fetchsessioncache_incrementalfetchsessionevictions_total 在所有代理上显示零。

好的,还有 kafka_server_fetchsessioncache_numincrementalfetchsessions 在三个代理中的每一个上显示 cca 500,所以总共 cca 1500,在 1000 和 2000 之间,所以也许该指标是由 max.incremental.fetch.session 控制的指标。缓存插槽?

其实截至目前,每个broker上已经有700多个增量fetch session,总共2100多个,所以,很明显,2000的限制适用于每个broker,这样整个集群的数量就可以去到 6000。现在每个 broker 上的数量低于 1000 的原因是因为在配置更改后重新启动了 broker。

问题是如何在个人消费者层面检查这种分配。这样的查询:

count by (__name__) ({__name__=~".*fetchsession.*"})
Run Code Online (Sandbox Code Playgroud)

仅返回此表:

Element                                                             Value
kafka_server_fetchsessioncache_incrementalfetchsessionevictions_total{} 3
kafka_server_fetchsessioncache_numincrementalfetchpartitionscached{}    3
kafka_server_fetchsessioncache_numincrementalfetchsessions{}            3
Run Code Online (Sandbox Code Playgroud)

apache-kafka

4
推荐指数
1
解决办法
5695
查看次数

标签 统计

apache-kafka ×2