相关疑难解决方法(0)

缓存和持久有什么区别?

RDD持久性方面,spark cache()persist()spark 之间有什么区别?

distributed-computing apache-spark rdd

197
推荐指数
6
解决办法
9万
查看次数

什么是广播变量?他们解决了什么问题?

我将通过Spark Programming指南说:

广播变量允许程序员在每台机器上保留一个只读变量,而不是随副本一起发送它的副本.

考虑到上述情况,广播变量的用例是什么?广播变量解决了什么问题?

当我们创建如下所示的任何广播变量时​​,变量引用,这里它broadcastVar可以在集群中的所有节点中使用吗?

val broadcastVar = sc.broadcast(Array(1, 2, 3))
Run Code Online (Sandbox Code Playgroud)

这些变量在节点的内存中可用多长时间?

apache-spark

25
推荐指数
1
解决办法
2万
查看次数

标签 统计

apache-spark ×2

distributed-computing ×1

rdd ×1