动态更新spark kafka使用者的主题列表

Question

是否有可能动态更新spark-kafka消费者中的主题列表？

我有一个使用spark-kafka消费者的Spark Streaming应用程序.说最初我有spark-kakfa消费者在听主题:["test"],过了一会儿我的主题列表更新为["test","testNew"].现在有办法更新spark-kafka消费者主题列表,并要求spark-kafka消费者使用数据来获取更新的主题列表,而无需停止sparkStreaming应用程序或sparkStreaming上下文

Answer 1

是否可以动态更新spark-kafka消费者中的主题列表

不会。一旦您使用 初始化 kafka 流，接收器和无接收器方法都将被修复KafkaUtils。由于 DAG 是固定的，因此您无法随心所欲地传递新主题。

如果您想动态读取，也许可以考虑一个批量 k 作业，该作业以迭代方式调度，并且可以动态读取主题并RDD从中创建一个主题。

另一种解决方案是使用一种为您提供消费方面的灵活性的技术，例如 Akka Streams。