小编M-D*_*oru的帖子

Spark连续处理模式不会读取所有kafka主题分区

我正在结构化流中试验 Spark 的连续处理模式,并且正在读取具有 2 个分区的 Kafka 主题,而 Spark 应用程序只有一个具有 1 个核心的执行器。

该应用程序很简单,它只是从第一个主题中读取并在第二个主题上发布。问题是我的控制台消费者从第二个主题读取数据,它只看到来自第一个主题的一个分区的消息。这意味着我的 Spark 应用程序仅读取来自主题的一个分区的消息。

如何使我的 Spark 应用程序从主题的两个分区读取?

笔记

我向可能遇到与我相同问题的人问这个问题

apache-kafka apache-spark spark-structured-streaming spark-streaming-kafka

2
推荐指数
1
解决办法
902
查看次数