小编Jit*_*dav的帖子

我正在为我的 Spark 结构化流应用程序构建监控，并且需要获取 Spark 应用程序所使用的某个主题的消费者滞后情况。我相信 Spark 驱动程序必须意识到这种滞后，因为它拥有执行程序的所有元数据。我看不到任何方法可以从任何现有的 Spark 文档或资源中获取此指标。我检查了streaminQueryListener接口，但它的功能也有限，因为我们只能从中获取每个查询指标。