火花蓄能器复位

Question

有没有办法由驱动程序重置火花累加器，以便执行器累加器也将被清理。

我有一个累加器，它实际上是一个列表>所有执行器将元组添加到累加器中，驱动程序读取它。问题是执行程序堆被填满了。

当驱动程序读取所有数据时，执行程序不需要本地数据。

谢谢

Answer 1

我想知道您是否尝试过使用 Accumulators' public method 通过驱动程序重置累加器setValue()。

\n\n

\n

您也许可以使用此setValue()方法将 Accumulators\xe2\x80\x99 值重置为较小的对象（例如，无论您的累加器类型是什么， \xe2\x80\x9czero\xe2\x80\x9d 对象，或 \xe2 \x80\x98null\xe2\x80\x99（如果您\xe2\x80\x99 确定累加器将不再被访问）。

\n

\n\n

来自https://issues.apache.org/jira/browse/SPARK-3885

\n