我们计划在我们的产品中使用Apache Kafka,因为它似乎能够很好地处理水平缩放和减震 - 我们的云环境需要这些功能.
但我们还计划将我们的产品部署到环境中,其中RAM消耗是优先考虑的因素.但是,这些环境不需要大吞吐量.假设1MB/s,更大的部署速度为5MB/s.消息将相当小,每个1kB.
我们不需要HA来进行这些部署,也不需要任何完美的性能.我们只需要它保持稳定,24小时保留(我们将在合理的磁盘上有足够的空间).
是否可以在1GB RAM的条件下运行Kafka？(甚至更少).如果没有,最小的设置是什么？
万一有人也对这个问题感兴趣.我们测试了Xmx = 1GB的单节点Kafka,摄取了twitter流API(每秒约50条消息,每条5-10kB).
我们还试图阻止kafka消费者一段时间,因此当它再次启动时会有很多消息.而且我们在卡夫卡的这一边每秒获得2500条消息.
使用的机器:来自AWS的2x t2.medium - 一个用于摄取和经纪,一个用于消费者.