我有很多很多FETCH_SESSION_ID_NOT_FOUND
INFO [ReplicaFetcher replicaId=2, leaderId=1, fetcherId=2] Node 1 was unable to process the fetch request with (sessionId=1229568311, epoch=511): FETCH_SESSION_ID_NOT_FOUND. (org.apache.kafka.clients.FetchSessionHandler)
INFO [ReplicaFetcher replicaId=2, leaderId=1, fetcherId=5] Node 1 was unable to process the fetch request with (sessionId=136816338, epoch=504): FETCH_SESSION_ID_NOT_FOUND. (org.apache.kafka.clients.FetchSessionHandler)
INFO [ReplicaFetcher replicaId=2, leaderId=0, fetcherId=2] Node 0 was unable to process the fetch request with (sessionId=311282207, epoch=569): FETCH_SESSION_ID_NOT_FOUND. (org.apache.kafka.clients.FetchSessionHandler)
...
Run Code Online (Sandbox Code Playgroud)
我阅读了Kafka:连续获取 FETCH_SESSION_ID_NOT_FOUND和如何检查 Kafka 集群中使用的增量获取会话缓存槽的实际数量?
目前,我们刚刚从Burrow获得了有关滞后的指标。
我的问题:
1、谁能解释一下为什么我有这么多FETCH_SESSION_ID_NOT_FOUND?这是什么意思?我之前没有得到它们。
有些消费者发送了太多请求?还是领导人总是连任?
我不知道。有人可以给我更多细节吗?
2、如果是因为某些消费者发送的请求过多,如何识别这些消费者?
谢谢
我正在阅读这个问题Kafka:Continuously getting FETCH_SESSION_ID_NOT_FOUND,我正在尝试应用 Hrishikesh Mishra 建议的解决方案,因为我们也面临类似的问题,所以我增加了代理设置 max.incremental.fetch.session.cache.slots 到2000,默认为 1000。但现在我想知道如何监控已使用的增量获取会话缓存槽的实际数量,在 prometheus 中我看到 kafka_server_fetchsessioncache_numincrementalfetchpartitionscached 指标,并且 promql 查询在三个代理中的每一个上显示的数量现在明显超过 2000,那是 2703、2655 和 2054,所以如果我查看正确的指标,我会感到困惑。还有 kafka_server_fetchsessioncache_incrementalfetchsessionevictions_total 在所有代理上显示零。
好的,还有 kafka_server_fetchsessioncache_numincrementalfetchsessions 在三个代理中的每一个上显示 cca 500,所以总共 cca 1500,在 1000 和 2000 之间,所以也许该指标是由 max.incremental.fetch.session 控制的指标。缓存插槽?
其实截至目前,每个broker上已经有700多个增量fetch session,总共2100多个,所以,很明显,2000的限制适用于每个broker,这样整个集群的数量就可以去到 6000。现在每个 broker 上的数量低于 1000 的原因是因为在配置更改后重新启动了 broker。
问题是如何在个人消费者层面检查这种分配。这样的查询:
count by (__name__) ({__name__=~".*fetchsession.*"})
Run Code Online (Sandbox Code Playgroud)
仅返回此表:
Element Value
kafka_server_fetchsessioncache_incrementalfetchsessionevictions_total{} 3
kafka_server_fetchsessioncache_numincrementalfetchpartitionscached{} 3
kafka_server_fetchsessioncache_numincrementalfetchsessions{} 3
Run Code Online (Sandbox Code Playgroud) apache-kafka ×2