小编int*_*_dp的帖子

如果数据为 10 GB 并且 RAM 为 1GB,则会将数据 Spark 加载到内存中

如果我有5 个节点的集群,每个节点有1GB 内存,现在如果我的数据文件10GB分布在所有 5 个节点中,假设每个节点中有 2GB,现在如果我触发

val rdd = sc.textFile("文件路径")

rdd.收集

Spark 会将数据加载到内存中,以及 Spark 将如何处理这种情况,它会立即拒绝还是会处理它。

apache-spark

2
推荐指数
1
解决办法
1万
查看次数

标签 统计

apache-spark ×1