将Kafka的数据实时传输到Cassandra

Eug*_*eMi 9 cassandra apache-kafka

从卡夫卡到卡桑德拉写日期的最佳方式是什么?我希望它是一个解决的问题,但似乎没有一个标准的适配器.很多人似乎都在使用Storm从Kafka读取然后写信给Cassandra,但风暴对于简单的ETL操作来说似乎有些过分.

vik*_*tnk 5

我们通过Storm大量使用Kafka和Cassandra

我们依赖Storm,因为:

  • 在原始消息的结果出现之前,通常会有很多分布式处理(节点间)步骤Cassandra(Storm bolt拓扑)

  • 我们不需要自己维护Kafka(偏移)的消费者状态 - Storm-Kafka连接器正在为我们做这件事,因为原始消息的所有产品都在Storm中被激活

  • 消息处理通过Storm本地分布在节点上

否则如果它是一个非常简单的情况,你可以有效地从Kafka读取消息并在没有Storm的帮助下将结果写入Cassandra