使用RabbitMQ最大化吞吐量

Question

在我们的项目中,我们希望在"任务队列"模式中使用RabbitMQ来传递数据.

在生产者方面,我们构建了一些TCP服务器(在node.js中)来收集高并发数据并将其发送到MQ而不做任何事情.

在消费者方面,我们使用JAVA客户端从MQ获取任务数据,处理它然后确认.

所以问题是:要获得最大的消息传递吞吐量/性能(例如,400,000 msg /秒),最好有多少个队列？更多队列是否意味着更好的吞吐量/性能？还有什么我应该注意到的吗？在这种情况下使用RabbitMQ的任何已知最佳实践指南？

任何评论都非常感谢!!

Answer 1

根据我从rabbitmq-discuss邮件组获得的回复,还有其他一些可以尝试增加吞吐量和减少延迟的事情:

• 使用更大的预取计数.小的价值伤害了表现.

• 主题交换比直接交换或扇出交换慢.

• 确保队列保持简短.较长的队列会产生更多的处理开销.

• 如果您关心延迟和消息速率,请使用较小的消息.使用有效格式(例如,避免使用XML)或压缩有效负载.

• 使用HiPE进行实验,这有助于提高性能.

• 避免交易和持久性.还避免以立即或强制模式发布.避免HA.群集也会影响性能.

• 如果您有多个队列和消费者,您将在多核系统上获得更好的吞吐量.

• 至少使用v2.8.1,它引入了流量控制.确保内存和磁盘空间警报永远不会触发.

• 虚拟化可以带来很小的性能损失.

• 调整您的操作系统和网络堆栈.确保提供足够的RAM.提供快速核心和RAM.

Answer 2

为了在RabbitMQ中获得最佳性能,请遵循其创建者的建议.来自RabbitMQ博客:

RabbitMQ的队列在空闲时排队最快.当队列为空,并且消费者准备好接收消息时,一旦队列收到消息,它就会直接发送给消费者.对于持久队列中的持久性消息,是的,它也将转到磁盘,但这是以异步方式完成的并且被大量缓冲.重点是需要完成很少的簿记,很少修改数据结构,并且需要分配额外的内存.

如果您真的想深入了解RabbitMQ队列的性能,那么他们的其他博客条目将进一步深入研究数据.