累加器未显示在 Spark UI 中
Puj*_*Roy 2 scala accumulator apache-spark
我已经实现了累加器来查看代码中的事件计数。但我在 Spark UI 中看不到它们。我正在使用以下东西：
val count_Of_2317508_1 = sc.longAccumulator("count_Of_2317508_1")
count_Of_2317508_1.add(1)
在某种条件下。
这足以让它显示在 Spark UI 上吗？
您可以创建带有或不带有名称的累加器，但只有命名的累加器才会显示在 Web UI 中（在给定阶段的“阶段”选项卡下）。
由于您已经创建了命名累加器，它应该会出现。
val counter = sc.longAccumulator("counter")
| 归档时间： |
|
| 查看次数： |
2509 次 |
| 最近记录： |