在RDD持久性方面,spark cache()和persist()spark 之间有什么区别?
我将通过Spark Programming指南说:
广播变量允许程序员在每台机器上保留一个只读变量,而不是随副本一起发送它的副本.
考虑到上述情况,广播变量的用例是什么?广播变量解决了什么问题?
当我们创建如下所示的任何广播变量时,变量引用,这里它broadcastVar可以在集群中的所有节点中使用吗?
val broadcastVar = sc.broadcast(Array(1, 2, 3))
Run Code Online (Sandbox Code Playgroud)
这些变量在节点的内存中可用多长时间?