如果我有5 个节点的集群,每个节点有1GB 内存,现在如果我的数据文件是10GB分布在所有 5 个节点中,假设每个节点中有 2GB,现在如果我触发
val rdd = sc.textFile("文件路径")
rdd.收集
Spark 会将数据加载到内存中,以及 Spark 将如何处理这种情况,它会立即拒绝还是会处理它。
apache-spark
apache-spark ×1