监控Apache kafka的用户界面 - kafka manager vs kafka monitor
Mr.*_*ase 30 monitoring jms apache-kafka
我是卡夫卡的新手.我们希望监控和管理kafka主题.我们尝试了不同的开源监控工具
这两种工具都很好.但我们无法做出应该包含在我们的部署堆栈中的决定.哪一个更好,为什么,以及在哪种情况下？
雅虎的'kafka manager'看起来比较老,而来自LinkedIn的'kafka monitor'是新的
卡夫卡监控 - 
Gio*_*ous 79
Landoop
Landoop通过用户界面,流式SQL引擎和集群监控增强了Kafka.它可以更快地监控Kafka数据管道.
他们提供免费的一体化码头工具(LENSES Box),可以为单个经纪人提供高达25M的消息.请注意,建议将其用于开发环境.
Confluent
另一个选项是Confluent Enterprise,它是用于生产环境的Kafka发行版.它还包括Control Center,它是Apache Kafka的管理系统,可通过用户界面进行集群监控和管理.
Yahoo Kafka Manager
Kafka Manager是一种用于监控Kafka的工具,与上述工具相比,它提供的功能更少.
KafDrop
KafDrop是用于监控Apache Kafka集群的UI.该工具显示诸如代理,主题,分区等信息,甚至可以让您查看消息.它是一个轻量级应用程序,在Spring Boot上运行,只需要很少的配置.
LinkedIn Burrow
Burrow是Apache Kafka的监控伴侣,它将消费者滞后检查作为服务提供,无需指定阈值.它监控所有消费者的承诺抵消额,并根据需要计算这些消费者的状态.提供HTTP端点以按需请求状态,以及提供其他Kafka群集信息.还有可配置的通知程序可以通过电子邮件或HTTP调用将状态发送到另一个服务.
Kafka Tool
Kafka Tool是一个用于管理和使用Apache Kafka集群的GUI应用程序.它提供了一个直观的UI,允许用户快速查看Kafka群集中的对象以及存储在群集主题中的消息.它包含面向开发人员和管理员的功能.
如果你买不起许可证,那就去Yahoo Kafka Manager,LinkedIn Burrow或KafDrop.Confluent和Landoop的产品是最好的产品,但不幸的是,它们需要许可.
- [KaDeck]（https://www.kadeck.com）对开发人员完全免费。在撰写本文时，它可能是企业和开发人员的最佳解决方案。它不需要任何其他基础结构设置，并且可以提供有关数据记录的详细见解，包括过滤时间窗口，这非常有帮助。它作为桌面应用程序和Web服务运行。 (5认同)
- 还有另一个名为[KafkaEsque]（https://kafka.esque.at/）的工具，它与Kafka工具类似，但在GPL下可用（请参阅https://github.com/patschuh/KafkaEsque）。 (3认同)
- 使用Confluent Enterprise之后，我不推荐他们使用的工具。虽然似乎在纸上打勾了，并且屏幕截图看起来不错，但总体用户体验并不流畅。我们遇到了很多问题，这些问题包括仪表板无法刷新以及显示的统计数据相互矛盾，有时甚至是完全错误的。我们对Kafka群集进行了基准测试，抽出了大约100MB / s的消息吞吐量（并验证了消息已被发布），但是在其仪表板上看到了几KB / s的吞吐量数据。 (3认同)
如果您想支付许可和Kafka集群支持费用，则可以使用Confluent Control Center
另外，免费的方法是使用Datadog和/或Prometheus / Influxdb中的JMX导出器（带有Grafana仪表板）以查看整体系统运行状况检查（CPU，网络，内存等）...比您所获得的更多的信息通过使用Kafka工具监视Kafka进程
| 归档时间： |
|
| 查看次数： |
49416 次 |
| 最近记录： |