与spark共享变量

Question

从Spark的官方文档中可以看出:" Spark确实为两种常见的使用模式提供了两种有限类型的共享变量:广播变量和累加器. "

(http://spark.apache.org/docs/1.2.0/programming-guide.html#shared-variables)

但是," 广播变量允许程序员在每台机器上保留一个只读变量,而不是随副本一起发送它的副本. "

我想要的是一个" 广播读写变量 ",(我的意思是:所有工人和司机都可以访问和修改的共享变量!)有什么办法吗？谢谢

Answer 1

您不能完全这样做,因为同步成本太高,不允许每个工作者拥有变量的一致视图.您可以选择使用广播变量,可以根据spark中的操作结果进行修改,也可以在累加器中调用getLocal值,但这只显示对变量进行的本地修改.

使用大量额外资源实现此目的的一种方法是使用外部数据存储,如voldemort,cassandra或Hbase