将图像存储在Apache Kafka中？

Question

Kafka的任何大用户(例如LinkedIn)都会在Kafka中存储上传的图片吗？我喜欢将所有内容放入日志中的架构简单性,但我担心它在实践中可能不可行.

Answer 1

理论上没有限制，因为您可以轻松地将图像作为二进制存储在 Kafka 队列中。但可能还有其他问题..我会尝试对此进行一些思考

消费者配置中有一个message.max.bytes参数，默认值为1000000。这样做实际上是为了防止代理耗尽内存，因为消费者没有流式传输消息的选项，并且必须分配内存才能读取消息。解决方法可能是压缩 Kafka 中的消息以节省空间。

我能找到的最合适的条件是通过传递发送和接收缓冲区的预分配来编写自己的客户端实现，从而通过 Kafka 提供零复制文件传输，如本讨论中所示。

你需要检查是否有可能做出这样的努力来实现同样的目标。