在使用Apache风暴时是否必须使用Apache Kafka？

Question

我想在我的项目中实现Storm实时消息处理.我观察到很多人使用'Apache Kafka'和'Storm'.

在我的项目中,客户端应用程序将向服务器端发送消息,服务器端应该对消息进行身份验证,处理它们并存储到HBase中.只有约束是不应该删除消息,每个消息都必须保存到HBase中,如果处理该消息需要几分钟就可以了.

我想知道

1. 使用Kafka和Storm是强制性的吗？
2. 使用Kafka和Storm有什么好处？
3. 如果我不使用卡夫卡风暴会怎么样？

请你告诉我Kafka的用法.

Answer 1

1. 没有必要将Kafka与Storm一起使用.两个系统彼此独立
2. Kafka是一个可靠的消息队列,因此,有助于Storm拓扑提供容错(即,它简化了所谓的可靠Spout的实现)
3. 请参阅(2) - >即,如果您想要具有容错保证,您需要自己关注Spout的可靠性

如果您想在继续使用HBase之前处理和验证Storm中的传入消息,我建议您使用Kafka.Kafka将充当缓冲区,其中每个传入消息都可靠地存储.Storm可以消耗来自Kafka的消息.如果Storm中的消息丢失,则可以从Kafka重新读取消息.在将消息保留给HBase之后,Kafka可以删除该消息.