如何通过REST API从数据库流式传输数据？

Question

我将大量数据存储在Postres数据库中，我需要使用Django通过REST API将数据发送到客户端。要求是分块发送数据，并且不要一次将整个内容加载到内存中。我知道Django中有一个StreamingHttpResponse类，我将对此进行探讨。但是还有其他更好的选择吗？我听说过Kafka和Spark用于流式应用程序，但是我检查过的这两个教程往往涉及流式实时数据（例如与Twitter数据进行交互等）。但是是否可以使用这两种方法从数据库中流式传输数据？如果是，我如何将其与REST集成在一起，以便客户端可以与其交互？任何线索将不胜感激。谢谢。

Answer 1

您可以使用debezium或apache-kafka-connect将数据库批量加载到Kafka中。

一旦数据存在，您就可以将Kafka使用者放置在Django应用程序之内或之外，并在使用消息时发出REST请求。Spark不是完全必要的，不应该在Django中使用