火花WebUI中不显示火花累加器

Question

我正在使用火花流.根据Spark编程指南(参见http://spark.apache.org/docs/latest/programming-guide.html#accumulators),命名累加器将显示在WebUI中,如下所示: 不幸的是,我无处可寻.我正在注册这样的累加器(Java):

LongAccumulator accumulator = new LongAccumulator();    
ssc.sparkContext.sc().register(accumulator, "my accumulator");

我使用的是Spark 2.0.0.

Answer 1

我没有有效的流式传输示例，但在非流式传输示例中，当选择特定阶段时，可以在阶段选项卡中找到此 UI。另外，我通常像这样创建累加器：

val accum = sc.longAccumulator("My Accumulator")

Spark Streaming 中的等效项可能是将 sc 替换为 ssc.SparkContext