Kafka Consumer使用哪种语言

Question

我正在尝试建立一个Kafka系统.由于我项目中的大多数现有代码都已经在PHP中,因此我很可能会在PHP本身编写生成器.但在选择一种语言来写消费者时,我的约束相对较少.现在,有很多客户可以使用我正在修复.

另外,为了在这里选择合适的技术,应该记住哪些因素？

特别想应用这些知识在java客户端与节点客户端之间进行选择(多线程模型与异步模型)

任何帮助将受到高度赞赏.

Answer 1

Kafka 基本上是用纯 Java 编写的，而 Kafka\xe2\x80\x99 的本机 API 是 java，因此这是唯一一种你\xe2\x80\x99 不使用第三方库的语言。你总是比用 Java 编写有优势其他有额外开销的语言。

\n\n

Node.js 针对 Kafka 等高吞吐量应用程序进行了\xe2\x80\x99t 优化。因此，如果您需要 Kafka 或 C++ 标准的高处理速率。

\n\n

另外，我相信用 Java 编写的 Kafka 消费者客户端拥有良好的社区支持。因此，只要您没有任何其他依赖项阻止您实现它，使用 java 实现它就有意义。

\n\n

另外，请查看使用各种 Kafka 客户端的基准测试结果。结果是相反的。

\n\n

Client Type Throughput(No of messages)\nJava        40,000 - 50,0000\nGo          28,000 - 30,0000\nNode         6,000 -  8,0000\nKafka-pixy     700 -    800\nLogstash       250\n

\n

Answer 2

Java客户端是最先进的客户端,并由Kafka项目正式支持 - 大多数其他客户端是第三方项目,许多客户端未实现所有可用功能.

因此,我建议使用Java客户端.