卡夫卡内存要求

Question

我是卡夫卡的初学者

我们正在寻找调整我们的kafka集群(5节点集群)的大小,以处理17,000个事件/秒,每个事件大小为600字节.我们计划复制3次并保留一周的事件

我在kafka文档页面中读到了

    assuming you want to be able to buffer for 30 seconds and 
compute your memory need as write_throughput*30.

那么整篇文章到底是什么？如果它是每秒MB的数量 - 我看9960MB /秒

if consider that as my write throughput then the memory calculates as 292GB(9960MB/Sec * 30 )

那么什么是292GB代表一个节点或整个集群的内存需求(5个节点)

我真的很感激有关内存和磁盘大小的一些见解.

关心VB

Answer 1

如果您的消息大小是600字节,17k msg/s,那么您的吞吐量将是~10MB/s [17000*600 /(1024*1024)].如果您正在对主题进行分区并使用5个代理,每个代理有3个副本,即10/5*3 = 6MB/s,则需要缓冲,这在任何普通硬件上都不应该是问题.缓冲30秒意味着180MB的内存.

如果您的消息大小为600kB,那么您需要考虑添加大量非常快的存储以达到6GB/s,实际上最好增加群集的节点数量.