R的卡夫卡消费者

Question

我希望用Python或R(最好是R)一起破解kafka消费者.使用kafka控制台使用者我可以grep一个字符串并检索相关数据但是在R中适当地解析它时我感到很茫然.

有些kafka客户端可以使用其他语言(例如:PHP,CPP),但从数据分析的角度来看,R中的一个客户端会很有用.

如果这个论坛上的专家R开发人员暗示/建议可以让我在这方面取得进展的资源,那将是很棒的.

Apache Kafka:incubator.apache.org/kafka/

Kafka Consumer Client(s):https://github.com/kafka-dev/kafka/tree/master/clients

Answer 1

【2015更新】有一个库可以让你连接kafka—— rkafka

http://cran.r-project.org/web/packages/rkafka/rkafka.pdf

Answer 2

由于Kafka有一个C++ API ，您可以使用Rcpp将其引入 R。

编辑以回应仅 R 解决方案的评论：我不太了解 Kafka 来回答，但一般来说，中间件运行速度很快，连接多个客户端、流等。所以你会在某个地方简化一些事情来获得 R（单-线程，因为它是）来玩它。