Kafka python API是否支持流处理？

Question

我已经在Java中使用过Kafka Streams。我在python中找不到类似的API。Apache Kafka是否支持python中的流处理？

Answer 1

Kafka Streams仅作为JVM库提供，但至少有两个Python实现

• wintincode / winton-kafka-streams
• 知更鸟/浮士德

从理论上讲，您可以尝试使用Jython或Py4j来支持它的JVM实现，但是否则，您将受制于消费者/生产者或调用KSQL REST接口。

除了这些选项之外，您还可以尝试Apache Beam，Flink或Spark，但是它们每个都需要外部集群调度程序来扩展。

Answer 2

如果您使用Apache Spark，则可以使用Kafka作为生产者，使用Spark Structured Streaming作为消费者。无需依赖像 Faust 这样的第三部分库。

要在 Spark 中使用 Kafka 数据流，请使用Structured Streaming + Kafka 集成指南。

spark-sql-kafka请记住，使用时必须附加包spark-submit：

spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1 StructuredStreaming.py

该解决方案已通过Spark 3.0.1和Kafka 2.7.0以及PySpark进行了测试。

该资源也很有用。