什么可能会导致卡夫卡`__consumer_offsets`主题的巨大负担？

Question

什么可能会导致卡夫卡`__consumer_offsets`主题的巨大负担？

Sew*_*zki 2 performance load internal consumer apache-kafka

我在Kafka集群中有简单的观察(Kafka 0.11.0.0).

根据jmx信息,该__consumer_offsets主题不断加载的消息数是所有其他主题中所有消息总和的10倍.我还将控制台消费者连接到这个主题,我可以测量类似的值.

可能是什么原因？
我如何检查Kafka经纪人在做什么并自己产生这样的负载？

Answer 1

Nat*_*lia 6

阅读__consumer_offsets主题:

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf

对于kafka 11使用格式化程序 "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"

consumer.conf有一行

exclude.internal.topics=false

--formatter“ kafka.coordinator.GroupMetadataManager \ $ OffsetsMessageFormatter” --new-consumer线程“ main”中的异常java.lang.ClassNotFoundException：java.net.URLClassLoader.findClass（URLClassLoader.java上的kafka.coordinator.GroupMetadataManager $ OffsetsMessageFormatter 381）在java.lang.ClassLoader.loadClass（ClassLoader.java:424）在...在kafka.tools.ConsoleConsumer $ ConsumerConfig。<init>（ConsoleConsumer.scala：318）在kafka.tools.ConsoleConsumer $ .main（ ConsoleConsumer.scala：51）位于kafka.tools.ConsoleConsumer.main（ConsoleConsumer.scala） (2认同)
试试 kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter (2认同)

归档时间：	8 年前
查看次数：	1150 次
最近记录：	6 年，2 月前