我正在结构化流中试验 Spark 的连续处理模式,并且正在读取具有 2 个分区的 Kafka 主题,而 Spark 应用程序只有一个具有 1 个核心的执行器。
该应用程序很简单,它只是从第一个主题中读取并在第二个主题上发布。问题是我的控制台消费者从第二个主题读取数据,它只看到来自第一个主题的一个分区的消息。这意味着我的 Spark 应用程序仅读取来自主题的一个分区的消息。
如何使我的 Spark 应用程序从主题的两个分区读取?
笔记
我向可能遇到与我相同问题的人问这个问题
apache-kafka apache-spark spark-structured-streaming spark-streaming-kafka