Apache Spark Streaming中的定期广播

Question

我正在实现一个用于文本分类的流学习器.我的实现中有一些单值参数需要在新流项到达时进行更新.例如,我想在新的预测发生时改变学习率.但是,我怀疑在初始广播之后有一种方法可以广播变量.那么如果我每次更新它时都需要广播变量会发生什么.如果有一种方法可以做到这一点或者解决我想要在Spark Streaming中完成的工作,我会很高兴听到它.

提前致谢.

Answer 1

我的理解是，一旦广播变量最初发出，它就是“只读”的。我相信您可以更新本地节点上的广播变量，但不能更新远程节点上的广播变量。

可能您需要考虑在“Spark 之外”执行此操作。使用 noSQL 存储（Cassandra 等）甚至 Memcache 怎么样？然后，您可以从一个任务更新变量并定期从其他任务检查此存储吗？