小编Bha*_*wla的帖子

如何列出Spark shell中定义的RDD?

在"spark-shell"或"pyspark"shell中,我创建了许多RDD但是我找不到任何方法可以在我当前的Spark Shell会话中列出所有可用的RDD?

apache-spark pyspark

5
推荐指数
1
解决办法
1497
查看次数

存储Spark RDD血统的地方?

Spark RDD Lineage存储在哪里?根据关于RDD的白皮书,它持久存储在内存中,但想知道它是在驱动程序端还是在集群上的其他位置.

如何确保容错,即默认创建多少次RDD(元数据)复制?

我想在不使用persist()方法时理解核心框架行为.

apache-spark rdd

5
推荐指数
1
解决办法
1282
查看次数

标签 统计

apache-spark ×2

pyspark ×1

rdd ×1