小编LST*_*LST的帖子

Spark - 在不打开流的情况下获取 Kafka 的最早和最新偏移量

我目前正在使用spark-streaming-kafka-0-10_2.11kafka 队列连接我的 spark 应用程序。对于 Streams,一切正常。但是对于特定场景,我只需要一次 kafka 队列的全部内容 - 为此我得到了更好地使用的建议KafkaUtils.createRDDSparkStreaming:读取 Kafka Stream 并将其作为 RDD 提供以供进一步处理

但是,因为spark-streaming-kafka-0-10_2.11我无法弄清楚如何为我的 Kafka 主题获取最早和最新的偏移量,这是创建 Offset-Range 所需的,我必须使用该createRDD方法。

在不打开流的情况下获得这些偏移量的推荐方法是什么?任何帮助将不胜感激。

scala apache-kafka apache-spark

5
推荐指数
1
解决办法
2026
查看次数

标签 统计

apache-kafka ×1

apache-spark ×1

scala ×1